
用 scrapy 爬几百万的 url ,现在开一个 scrapy 效率有点慢。
考虑如何多开几个 scrapy ,通过分割队列来运行。
现在遇到的情况是 复制原来项目,修改 spider 名字以及 setting 部分设置。 运行报错找不到 spider
仅仅复制原来项目,修改队列。 发现还是原来的 spider
请大家指教下,如何通过分割队列运行 scarpy
1 laoyur 2016-09-12 15:18:32 +08:00 把这几百万 url 扔到 redis 里,让爬虫自己来取? |
2 BiggerLonger 2016-09-12 16:08:22 +08:00 一下把程高一 |
3 facat 2016-09-12 16:16:06 +08:00 via Android 爬虫是受网络 i/o 影响大,多开不见得有效果 |
4 neosfung 2016-09-12 16:27:56 +08:00 |
5 mrytsr 2016-09-12 17:57:05 +08:00 via Android 分级的话 内部自动通过 协程多开 |
6 ssllff123 OP 好吧 。发现多开并没有提高多少效率。现在能提高效率的应该就是 redis 了。 |