全球主机交流论坛

标题: 把DHT改为mysql+sphinx了，空间占用降下来好多啊！ [打印本页]

作者: 带头盔滴衰锅 时间: 2016-3-8 17:15
标题: 把DHT改为mysql+sphinx了，空间占用降下来好多啊！
之前用的MongoDB+Elasticsearch，等于是存储了两份相同的数据，导致空间占用过大，才20W数据就占用了我差不多10个G
本来想不用MongoDB，直接使用Elasticsearch得了，但是发现Elasticsearch在提取数据时，单条数据提取似乎比MongoDB慢
然后又想到很多人推荐MySQL+Sphinx，干脆改了，改完之后空间存储占用的确下降了好多啊！

作者: 月痕 时间: 2016-3-8 17:16

求开源

作者: 带头盔滴衰锅 时间: 2016-3-8 17:18
等等看，我测试了看看再决定是否开源

作者: 卖女孩的小火柴 时间: 2016-3-8 17:19
提示: 作者被禁止或删除内容自动屏蔽

作者: 带头盔滴衰锅 时间: 2016-3-8 17:24
但是有时查询会出现sphinx无法连接的问题

作者: malong101 时间: 2016-3-8 18:28
虽然看不到前途帮顶

作者: loveni 时间: 2016-3-8 19:24
开元的呢

作者: shiro 时间: 2016-3-8 20:02
…这几天也在折腾用go写了一个效率是不错… 挂了6小时爬到了800多万(不知道去重复的和蜜罐来的假hash后还有多少) 在想用啥数据库入库…

作者: 带头盔滴衰锅 时间: 2016-3-8 20:46

shiro 发表于 2016-3-8 20:02
…这几天也在折腾用go写了一个效率是不错… 挂了6小时爬到了800多万(不知道去重复的和蜜罐来的假hash后还 ...

6小时800万。。。
你只是统计了hash还是只计算入库的？
是去重了么？
数据库的话自己看吧，选自己喜欢的

作者: shiro 时间: 2016-3-8 22:12
本帖最后由 shiro 于 2016-3-8 22:14 编辑

带头盔滴衰锅发表于 2016-3-8 20:46
6小时800万。。。
你只是统计了hash还是只计算入库的？
是去重了么？

只统计了抓到的hash..还没处理呢

作者: 带头盔滴衰锅 时间: 2016-3-8 23:41

shiro 发表于 2016-3-8 22:12
只统计了抓到的hash..还没处理呢

哦，我就说呢，如果这么高的效率，得多高的CPU，得多少流量

作者: 77sky 时间: 2016-3-9 00:32
提示: 作者被禁止或删除内容自动屏蔽

作者: linfanmz 时间: 2016-3-9 09:33
已经有多个开源的了。

作者: 77sky 时间: 2016-3-9 10:45
提示: 作者被禁止或删除内容自动屏蔽

作者: linfanmz 时间: 2016-3-9 10:53

77sky 发表于 2016-3-9 10:45
那几个。

手撕包菜，kevin等等等。。
现在再进已经晚了，太多了。。

作者: 绝对冷血 时间: 2016-3-20 19:53
~~~~~~~~

作者: 秋风下的落叶 时间: 2016-3-20 20:42
听不懂。。。

作者: cw723 时间: 2016-3-20 21:00

shiro 发表于 2016-3-8 22:12
只统计了抓到的hash..还没处理呢

NOSQL的性能要好很多吧。

欢迎光临全球主机交流论坛 (https://hostloc.gdisk.cf/)