最近Google爬虫发疯了

toot

从上周开始。疯狂爬行网站2+2完全顶不住。直接爆。

甚至用上了独服还是爆。最近两天很多人都遇到爬虫太厉害这个问题，看来不是我一个人

Google这种大企业。ip多如牛毛。cc策略不管用


最后封ip解决了问题。66.249.x.x，还有些段爬得没那么厉害暂时没管。不同段ip太多

还有个185.191.x.x，签名不是Google的。似乎也是一个搜索引擎

有被爬虫困扰的大佬可以把这两个段拉黑

npnp

可以直接按爬虫特征屏蔽啊

YorkZhao

我巴不得被爬，我的网站还没收录awa

围观者

google对抓取的链接，回访最勤快，一条新链接从抓取，以后会再来爬几十次甚至上百次

所以只有第一次返200，以后返304就行了

toot

围观者 发表于 2022-1-11 20:12
google对抓取的链接，回访最勤快，一条新链接从抓取，以后会再来爬几十次甚至上百次

所以只有第一次返200 ...

这样不会误伤正常用户吗

ah520

没有流量的爬虫 就是乐色

围观者

toot 发表于 2022-1-11 20:13
这样不会误伤正常用户吗

正常用户更好，对于带了last标志的用户，他的浏览器是有这个网页的缓存的

如果你返回304，那么他的浏览器会自动读取缓存并显示

给用户的感觉是非常快！！！

mjjok

有个站谷歌这段时间每天 一百多万蜘蛛来了。。
应该只是爬行一段时间吧，以前也遇到过，只爬行几天或者一个星期左右，后期就来得少了，但是前期你得扛得住。

笑花落半世琉璃

全球最厉害的爬虫你以为说着玩的呢

zhongziso

cf全站缓存，随便爬。