这是一个创建于 3745 天前的主题，其中的信息可能已经有所发展或是发生改变。
我以前队列是直接在内存里，程序停了又要重头开始。。。。
所以队列应该保存在数据库当中会好一点
 | 1 demoslam 2015-07-24 06:06:56 +08:00 看需求，正常爬虫存的数据库可以随便选。inverted index的存储可能要额外考虑其他的数据库 |
 | 2 itfanr 2015-07-24 07:06:39 +08:00 via Android  2 leveldb rocksdb |
 | 3 shoumu 2015-07-24 09:17:38 +08:00 想用什么数据库就用什么数据库，等数据库性能遇到瓶颈了还能学学数据库的东西 |
 | 4 Comdex 2015-07-24 09:53:31 +08:00 redis/mongodb |
 | 6 mcwanderer 2015-07-24 12:01:28 +08:00 mongodb |
 | 7 qw7692336 OP @mcwanderer 不说原因的都是耍流氓 |
 | 10 zjq426 2015-07-24 17:43:07 +08:00 爬和解析分开，爬下来的rawdata直接存文件不好吗。。。 |
 | 11 bengtuo 2015-07-24 18:39:34 +08:00 直接存文件 |
Select Language