全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

IP归属甄别会员请立即修改密码
打印 上一主题 下一主题

PHP版的DHT爬虫终于OK了!

  [复制链接]
51#
 楼主| 发表于 2015-5-5 21:51:32 | 只看该作者
tyucom 发表于 2015-5-5 19:19
装上跑了几小时,竟然啥都没有。

top看运行状态老是出现

你看下你的防火墙有没有开着?
还有就是,出现上面那些错误不用管,只是接收数据时,有的时候会接收到空数据
52#
 楼主| 发表于 2015-5-5 21:53:31 | 只看该作者
啪啪啪啪啪 发表于 2015-5-5 20:41
DHT爬虫  抓取的是 哪里的数据?

DHT网络里的,具体可以查看DHT协议文档
54#
发表于 2015-5-5 23:37:43 | 只看该作者
楼主说的是什么啊,好厉害的样子啊。
55#
发表于 2015-5-6 07:05:17 | 只看该作者
带头盔滴衰锅 发表于 2015-5-5 21:51
你看下你的防火墙有没有开着?
还有就是,出现上面那些错误不用管,只是接收数据时,有的时候会接收到空 ...

防火墙已关。

美国VPS,  运行这个DHT 后,负载一直有, 而且网卡流量也有。  就是获取不到。

我再挂一天看看。

我还换一个DO新加坡的看看。
57#
 楼主| 发表于 2015-5-6 08:17:14 来自手机 | 只看该作者
tyucom 发表于 2015-5-6 07:05
防火墙已关。

美国VPS,  运行这个DHT 后,负载一直有, 而且网卡流量也有。  就是获取不到。

我这边也在改进着,我还用另外一台测试新版本的,直接写到数据库中,新加坡那台也重新弄了记录方式,然后两台差不多的时间开始运行的,现在新版本的采集到700多了
58#
发表于 2015-5-6 11:38:44 | 只看该作者
赞~!@434支持,
59#
发表于 2015-5-6 12:30:17 | 只看该作者
无论如何都要支持!
60#
发表于 2015-5-6 13:01:11 | 只看该作者
带头盔滴衰锅 发表于 2015-5-6 08:17
我这边也在改进着,我还用另外一台测试新版本的,直接写到数据库中,新加坡那台也重新弄了记录方式,然后 ...

使用一个日本VPS测试了也一样,没有输出。   

但是换成你博客里的那个最初版输出到  error.log   里的,就有数据了。

包括 infohash 。  能1秒几个吧。  
只是负载太高了,一下子负载10,  流进流出流量 5M/s  


不知为啥,你那后来的版本,啥也获取不到。
最原始的那个就能获取成功。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2025-11-9 12:28 , Processed in 0.115793 second(s), 9 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表