推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
This topic created in 2448 days ago, the information mentioned may be changed or developed.
Supplement 1 Feb 20, 2020
Scrpay-Kafka-Redis
在有大量请求堆积的情况下，即使用了 Bloomfilter 算法，使用 scrapy-redis 仍然会占用大量内存，本项目参考 scrapy-redis，
特点
支持分布式
使用 Redis 作为去重队列 同时使用 Bloomfilter 去重算法，降低了内存占用，但是增加了可去重数量
使用 Kafka 作为请求队列 可支持大量请求堆积，容量和磁盘大小相关，而不是和运行内存相关
由于 Kafka 的特性，不支持优先队列，只支持先进先出队列
在有大量请求堆积的情况下，即使用了 Bloomfilter 算法，使用 scrapy-redis 仍然会占用大量内存，本项目参考 scrapy-redis，
特点
支持分布式
使用 Redis 作为去重队列 同时使用 Bloomfilter 去重算法，降低了内存占用，但是增加了可去重数量
使用 Kafka 作为请求队列 可支持大量请求堆积，容量和磁盘大小相关，而不是和运行内存相关
由于 Kafka 的特性，不支持优先队列，只支持先进先出队列
No Comments Yet
Select Language