全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

IP归属甄别会员请立即修改密码
查看: 2803|回复: 17
打印 上一主题 下一主题

把DHT改为mysql+sphinx了,空间占用降下来好多啊!

[复制链接]
跳转到指定楼层
1#
发表于 2016-3-8 17:15:29 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
之前用的MongoDB+Elasticsearch,等于是存储了两份相同的数据,导致空间占用过大,才20W数据就占用了我差不多10个G
本来想不用MongoDB,直接使用Elasticsearch得了,但是发现Elasticsearch在提取数据时,单条数据提取似乎比MongoDB慢
然后又想到很多人推荐MySQL+Sphinx,干脆改了,改完之后空间存储占用的确下降了好多啊!
3#
 楼主| 发表于 2016-3-8 17:18:10 来自手机 | 只看该作者
等等看,我测试了看看再决定是否开源
4#
发表于 2016-3-8 17:19:30 来自手机 | 只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
5#
 楼主| 发表于 2016-3-8 17:24:17 来自手机 | 只看该作者
但是有时查询会出现sphinx无法连接的问题
6#
发表于 2016-3-8 18:28:23 | 只看该作者
虽然看不到前途 帮顶
8#
发表于 2016-3-8 20:02:49 来自手机 | 只看该作者
…这几天也在折腾 用go写了一个 效率是不错… 挂了6小时爬到了800多万(不知道去重复的和蜜罐来的假hash后还有多少)  在想用啥数据库入库…
9#
 楼主| 发表于 2016-3-8 20:46:05 来自手机 | 只看该作者
shiro 发表于 2016-3-8 20:02
…这几天也在折腾 用go写了一个 效率是不错… 挂了6小时爬到了800多万(不知道去重复的和蜜罐来的假hash后还 ...

6小时800万。。。
你只是统计了hash还是只计算入库的?
是去重了么?
数据库的话自己看吧,选自己喜欢的
10#
发表于 2016-3-8 22:12:51 来自手机 | 只看该作者
本帖最后由 shiro 于 2016-3-8 22:14 编辑
带头盔滴衰锅 发表于 2016-3-8 20:46
6小时800万。。。
你只是统计了hash还是只计算入库的?
是去重了么?


只统计了抓到的hash..还没处理呢
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2025-11-17 19:49 , Processed in 0.222232 second(s), 14 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表