这是一个创建于 4231 天前的主题，其中的信息可能已经有所发展或是发生改变。
举个例子，写一个网络爬虫有以下步骤：
1.抓取网页（打开网页）
2.解析网页内容
3.下载网页里面的内容（比较费时）
我们可以将上面三个步骤简化为2个，即 1.打开网页 2.解析网页并下载内容
如果更效率的完成上面的操作呢？
有好的回复，必发送感谢！
1.抓取网页（打开网页）
2.解析网页内容
3.下载网页里面的内容（比较费时）
我们可以将上面三个步骤简化为2个，即 1.打开网页 2.解析网页并下载内容
如果更效率的完成上面的操作呢？
有好的回复，必发送感谢！
 | 1 pathletboy 2014-06-03 11:57:27 +08:00 打开网页解析并下载 |
 | 2 binux 2014-06-03 12:15:02 +08:00  1 取决于你网速，除非你连怎么占满带宽都不知道。 |
 | 3 shoumu 2014-06-03 12:23:27 +08:00 下载的内容是什么内容 |
 | 4 faceair 2014-06-03 12:24:53 +08:00 1 多线程或者用回调 |
 | 5 LetFoxRun OP @binux 其实我是想问下，基本常用的都有哪些模型，哪些方法。 比如，多进程，多线程，异步，父子进程。 假如需要下载的东西比较费时（需要1分钟能下载成功），但是比较小，10kb，一般情况下，这种应该使用什么模型或方法？ 求多说两句，谢谢。 |
 | 6 oIIo 2014-06-03 12:51:18 +08:00 为什么不搜一搜呢， 网上搜spider或者crawler，各种文章，各种源码都有，够你参考了。 |
 | 7 diaoleona 2014-06-03 12:53:09 +08:00 scrapy or scrapyd |
 | 8 alexapollo 2014-06-03 12:57:56 +08:00 异步编程妥妥的 |
| 9 LetFoxRun OP |
 | 10 imn1 2014-06-03 13:13:52 +08:00 一切取决于量～ 爬一个网页和爬一个网站做法完全不同 |
 | 12 codingpp 2014-06-03 13:55:06 +08:00 1 异步回调了，其他不考虑 一次发起上万个请求 |
Select Language