 | 1 Livid MOD PRO Celery or RQ is better for such scenario. |
 | 3 phuslu Sep 14, 2012 gevent.pool.spawn + httplib2 |
 | 4 Brutal Sep 14, 2012 queue 然后 q.get() |
 | 5 reus Sep 14, 2012 requests + multiprocessing.Pool |
 | 7 btwo Sep 14, 2012 有测试结果了也请贴出来，一起学习下！ |
 | 8 muxi Sep 14, 2012 |
| 9 muxi Sep 14, 2012 |
| 10 muxi Sep 14, 2012 |
 | 13 sinreal Sep 14, 2012 额，豆瓣好像限制单个ip访问频率的。楼主可以考虑多个ip慢慢去抓。 |
 | 15 14kscn Sep 14, 2012 我比较好奇的是 v2ex 可以贴 code 了？ |
 | 16 eric_q Sep 14, 2012 如果爬得过快消耗太多资源，可能会被手动封禁 |
 | 18 clowwindy Sep 14, 2012 爬虫的瓶颈不在抓取，在被爬的网站上……一般要爬单个网站的大量数据，要么直接找对方要，要么动用大量 IP…… 抓取的性能不是问题，如果爬完全不同的网站，之前用 tornado 那个 async_http_client 写了一个爬虫，开 5 个进程一边爬一边往 HBase 里插，可以达到 2000 QPS。 |
 | 19 fanzeyi Sep 14, 2012 如果楼主可以生成出爬的页面的链接到一个数组里，可以直接用 grequests<https://crate.io/packages/grequests/> 非常好用的异步 URL Fetching 库. 后端是 Gevent ..可以写上 callback 参数 =v= |
 | 20 chendahui007 Nov 18, 2012 @cabinw 可以看看你写的爬豆瓣电影那个么? |
 | 22 cabinw OP @chendahui007 我已经放弃爬了，会被封IP的 |
| 24 chendahui007 Nov 18, 2012 @cabinw 那可以观摩你之前写的代码么?俺是新手,很新的手,没啥思路 ...`从IMDB id tt0000000 到 tt9999999遍历访问一遍豆瓣的电影信息 ` 这 它们怎么关联的 ,求思路 |
| 25 cabinw OP @chendahui007 gtalk：cabinw#gmail.com |
 | 26 lj0014 Nov 18, 2012 楼主爬了多少豆瓣电影了，据说有４０Ｗ，我现在就爬了７Ｗ~ |
 | 29 xi4nyu Nov 19, 2012 多核机子上面应该对应核数启，才能达到最大性能. |
 | 31 BigZ Nov 19, 2012 异步？还快速？太黑了 丢我们采集界的脸 采集界有个原则，单线程同步采集，必要的时候还要sleep几秒 |
Select Language