推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 2900 天前的主题，其中的信息可能已经有所发展或是发生改变。
总感觉重新爬一遍比较笨，效率也低，而且将来网页变多说不定我重新爬的速度赶不上他们更新的速度了。 各位有没有遇到这方面的问题，帮小弟出出主意。
第 1 条附言 2018-01-18 10:34:22 +08:00
经过这几天研究，其实这个问题解决方案已经跟《搜索引擎更新已收录页面》方案是相通的。有相似问题的同学可以去搜索搜索引擎的相关技术，或者移步这里 https://www.cnblogs.com/maybe2030/p/4778134.html
 | 1 Len1133 OP 目前比较多的方法还是计算网页的哈希值然后比对，这样爬虫的工作量其实跟重新爬一遍没有区别，网页都扒下来了，再解析一下是很容易的。 |
 | 2 beforeuwait 2018-01-17 22:49:10 +08:00  1 做增量更新啊 |
| 3 Len1133 OP @beforeuwait 做增量更新需要先检测到更新呀，现在的问题是检测更新的成本比较大。 |
Select Language