全球主机交流论坛

标题: 有什么方法或者软件工具能批量探测url的有效性 [打印本页]

作者: 村长    时间: 2015-9-15 15:39
标题: 有什么方法或者软件工具能批量探测url的有效性
一次性扫描10来万个url的 其中只有一个是非404 其他的全部是404
有什么试用的解决方案吗.IDM的话一次导入过多直接卡掉了
作者: jsenet    时间: 2015-9-15 15:41
python写一个  自己定义个你及其能承受的线程数  直接10来万个线程肯定吃不消


作者: flydon    时间: 2015-9-15 15:48
  1. curl -o /dev/null -s -w %{http_code} $url
复制代码
然后for循环读url 然后打印输出httpcode 或者直接就是httpcode如果是200打印
作者: _jerryjee    时间: 2015-9-15 17:08
shell脚本速度更快吧。
作者: holinhot    时间: 2015-9-15 20:20
写个脚本跑起来




欢迎光临 全球主机交流论坛 (https://hostloc.gdisk.cf/) Powered by Discuz! X3.4