全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

IP归属甄别会员请立即修改密码
查看: 424|回复: 3
打印 上一主题 下一主题

怎麼防止被archive機器人爬取?

[复制链接]
跳转到指定楼层
1#
发表于 2025-2-26 22:01:05 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
抓得可勤快了,一天好幾張,谷歌都沒它情況啊
2#
发表于 2025-2-26 22:33:34 | 只看该作者
robots.txt不行吗?那就ua拦截呗,宝塔防火墙顺手的事
3#
 楼主| 发表于 2025-2-26 23:20:06 | 只看该作者
zixi 发表于 2025-2-26 22:33
robots.txt不行吗?那就ua拦截呗,宝塔防火墙顺手的事

主要是剛剛不知道它的蜘蛛名稱,現在知道了
  1. User-agent: ia_archiver
  2. Disallow: /
复制代码
4#
发表于 2025-2-26 23:42:31 | 只看该作者
robot.txt就是君子协议,正规的蜘蛛会按照你的规则来,爬虫根本不会管你什么robot.txt。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2025-11-15 14:15 , Processed in 0.101076 second(s), 7 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表