
1 wy315700 Jul 24, 2014 multiprocess + pool 比较好 multithread + gevent也可以 |
2 heiher Jul 24, 2014 via iPhone 线程用来使用cpu资源的,像这种基本就是I/O为主,使用异步I/O不就好了。 |
3 binux Jul 24, 2014 GIL锁是锁语句执行的,IO等待又不会被锁 |
4 bigdude Jul 24, 2014 gevent |
5 ffffwh Jul 24, 2014 异步+1 |
6 C0VN Jul 24, 2014 我之前测试的时候,threading比gevent快耶。 |
7 pandada8 Jul 24, 2014 via Android 处理速度永远大于你的抓取速度 |
8 withrock Jul 25, 2014 我之前写过抓取糗事百科的虫,我的CPU有4个核,用threading的话,CPU的使用率不会超过25%。 |
9 Zuckonit Jul 25, 2014 gevent吧 |
10 kingxsp Jul 25, 2014 gevent 或者 asyncio |
11 lianghui Jul 25, 2014 prefork span with multithread |