这是一个创建于 3115 天前的主题，其中的信息可能已经有所发展或是发生改变。
呃 如题。
有哪些开源方案可以组合起来实现，包含爬虫 存储 检索 排名算法。
只定向收录一些网站即可。
有哪些开源方案可以组合起来实现，包含爬虫 存储 检索 排名算法。
只定向收录一些网站即可。
 | 1 ss098 2017-03-31 14:44:44 +08:00 爬虫得自己写，搜索可以用 ElasticSearch 。 |
 | 2 dreampuf 2017-03-31 15:01:47 +08:00 自定义爬虫 + ES 规模几十 T 不是问题 |
 | 3 murmur 2017-03-31 15:04:26 +08:00 垂直搜索的问题不是你底层抗不扛得住 是你抓别人数据能抓多少 你能想到的可以聚合的内容基本都有反爬虫设计 |
 | 4 gwind 2017-03-31 17:22:47 +08:00 你需要的是: 1. scrapy 抓 2. elasticsearch 搜 |
 | 5 jackroyal 2017-04-01 10:23:11 +08:00 via Android 最简单的， google 自定义搜索，直接限定域名，哈哈 |
Select Language