这是一个创建于 2677 天前的主题，其中的信息可能已经有所发展或是发生改变。
https://github.com/intohole/xspider
- 本地磁盘队列，对各位只有单机，存储内存 cpu 不大的情况实现
- 针对不同链接 pattern，使用不同解析器；
- 结合 bloomfilter 过滤神器，达到减少内存占用
- 整个抽取器，json ／正则／ xpath ／ css selector 等，还在构造中
- 对整个抓取流程结构化
现在不足点：
- 数据库存储问题
- 对抓取失败后，处理策略优化；
- 无可视化页面，对整个爬虫架构完善
- 无可自动抽取元素
爬虫架构本人在使用，写一些定制化的爬虫，期待你的建议～
不喜勿喷，可以略过～谢谢
 | 1 glacer 2018-06-13 14:03:27 +08:00 mark |
 | 2 ihancheng 2018-06-13 14:13:56 +08:00 via Android 战马 |
 | 3 cheesea 2018-06-13 17:07:02 +08:00 我想问一下，楼主这个框架，对比 scrapy/pyspider 有什么区别，或者说解决了什么问题？ |
 | 4 itsme001 2018-06-13 18:02:42 +08:00 看到请求用的 requests 就停了.requests 默认的有些 http 头都是去不掉的.会被 requests 使用的下层库(urllib?httplib?)添加上去.玩具成熟点再发吧. |
 | 5 golmic 2018-06-13 18:09:01 +08:00 我还没看到 4L 那，只看到了 1. 抓取单线程 2. from xspider.spider.spider 就不打算继续看了 |
 | 6 Leigg 2018-06-13 18:16:03 +08:00 via iPhone 有想法，不过最好有鲜明的优势，相较于 scrapy，pyspider 这些框架，不用把他们实现的你都实现，不然就是造轮子了。 总体建议是: 整体构思好再出发比较好，这是一个很锻炼 coding，架构能力的事情，还是支持楼主。 |
 | 7 intohole OP 楼上们，没用你怎么知道不好呢？ 好奇？ 看到 requests 就停止了～ |
 | 10 gouchaoer2 2018-06-13 19:26:49 +08:00 via Android 你可能不需要队列，mysql 足够 你可能不需要 bloomfilter，unique 索引足够 可能你不需要优化性能，因为爬虫就不是个 cpu/内存消耗的东西 |
 | 11 xiangbohua 2018-06-13 19:51:45 +08:00 @gouchaoer2 网络请求、放反扒应该占用大多数时间吧 |
 | 12 intohole OP @gouchaoer2 其实什么都不用做 ， 直接用 requests 就可以 |
Select Language