全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

IP归属甄别会员请立即修改密码
查看: 1710|回复: 11
打印 上一主题 下一主题

最近Google爬虫发疯了

[复制链接]
跳转到指定楼层
1#
发表于 2022-1-11 20:09:49 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
从上周开始。疯狂爬行网站2+2完全顶不住。直接爆。

甚至用上了独服还是爆。最近两天很多人都遇到爬虫太厉害这个问题,看来不是我一个人

Google这种大企业。ip多如牛毛。cc策略不管用


最后封ip解决了问题。66.249.x.x,还有些段爬得没那么厉害暂时没管。不同段ip太多

还有个185.191.x.x,签名不是Google的。似乎也是一个搜索引擎

有被爬虫困扰的大佬可以把这两个段拉黑
2#
发表于 2022-1-11 20:12:12 | 只看该作者
可以直接按爬虫特征屏蔽啊
3#
发表于 2022-1-11 20:12:34 | 只看该作者
我巴不得被爬,我的网站还没收录awa
4#
发表于 2022-1-11 20:12:36 | 只看该作者
google对抓取的链接,回访最勤快,一条新链接从抓取,以后会再来爬几十次甚至上百次

所以只有第一次返200,以后返304就行了
5#
 楼主| 发表于 2022-1-11 20:13:49 | 只看该作者
围观者 发表于 2022-1-11 20:12
google对抓取的链接,回访最勤快,一条新链接从抓取,以后会再来爬几十次甚至上百次

所以只有第一次返200 ...

这样不会误伤正常用户吗
6#
发表于 2022-1-11 20:14:21 | 只看该作者
没有流量的爬虫 就是乐色
7#
发表于 2022-1-11 20:16:30 | 只看该作者
toot 发表于 2022-1-11 20:13
这样不会误伤正常用户吗

正常用户更好,对于带了last标志的用户,他的浏览器是有这个网页的缓存的

如果你返回304,那么他的浏览器会自动读取缓存并显示

给用户的感觉是非常快!!!
8#
发表于 2022-1-11 20:20:33 | 只看该作者
有个站谷歌这段时间每天 一百多万蜘蛛来了。。
应该只是爬行一段时间吧,以前也遇到过,只爬行几天或者一个星期左右,后期就来得少了,但是前期你得扛得住。
9#
发表于 2022-1-11 20:20:33 | 只看该作者
全球最厉害的爬虫你以为说着玩的呢
10#
发表于 2022-1-11 21:00:53 来自手机 | 只看该作者
cf全站缓存,随便爬。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2025-11-1 11:10 , Processed in 0.094629 second(s), 10 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表