把DHT改为mysql+sphinx了，空间占用降下来好多啊！

带头盔滴衰锅 · 发表于 2016-3-8 17:15:29

之前用的MongoDB+Elasticsearch，等于是存储了两份相同的数据，导致空间占用过大，才20W数据就占用了我差不多10个G
本来想不用MongoDB，直接使用Elasticsearch得了，但是发现Elasticsearch在提取数据时，单条数据提取似乎比MongoDB慢
然后又想到很多人推荐MySQL+Sphinx，干脆改了，改完之后空间存储占用的确下降了好多啊！

月痕 · 发表于 2016-3-8 17:16:49

求开源

带头盔滴衰锅 · 发表于 2016-3-8 17:18:10

等等看，我测试了看看再决定是否开源

卖女孩的小火柴 · 发表于 2016-3-8 17:19:30

提示: 作者被禁止或删除内容自动屏蔽

带头盔滴衰锅 · 发表于 2016-3-8 17:24:17

但是有时查询会出现sphinx无法连接的问题

malong101 · 发表于 2016-3-8 18:28:23

虽然看不到前途帮顶

loveni · 发表于 2016-3-8 19:24:02

开元的呢

shiro · 发表于 2016-3-8 20:02:49

…这几天也在折腾用go写了一个效率是不错… 挂了6小时爬到了800多万(不知道去重复的和蜜罐来的假hash后还有多少) 在想用啥数据库入库…

带头盔滴衰锅 · 发表于 2016-3-8 20:46:05

shiro 发表于 2016-3-8 20:02
…这几天也在折腾用go写了一个效率是不错… 挂了6小时爬到了800多万(不知道去重复的和蜜罐来的假hash后还 ...

6小时800万。。。
你只是统计了hash还是只计算入库的？
是去重了么？
数据库的话自己看吧，选自己喜欢的

shiro · 发表于 2016-3-8 22:12:51

本帖最后由 shiro 于 2016-3-8 22:14 编辑

带头盔滴衰锅发表于 2016-3-8 20:46
6小时800万。。。
你只是统计了hash还是只计算入库的？
是去重了么？

只统计了抓到的hash..还没处理呢

		自动登录	找回密码
密码			注册

卖女孩的小火柴卖女孩的小火柴当前离线积分 2326	4^# 发表于 2016-3-8 17:19:30 来自手机 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽
卖女孩的小火柴卖女孩的小火柴当前离线积分 2326
	回复支持反对举报

把DHT改为mysql+sphinx了，空间占用降下来好多啊！

相关帖子

浏览过的版块