这是一个创建于 4026 天前的主题，其中的信息可能已经有所发展或是发生改变。
比如我现在不定时的从推特上抓取自己时间线上推文。操作是通过使用Twitter的API完成的。
如何保证本次抓取的内容正好是从上次抓取完毕的地方开始的呢？
我有个比较笨的方法，就是分批（抽样）抓取数据，每次抓完就判断一下是否重复了。如果重复了就停止抓取。不过我总觉得这样很没效率，不知道大家有没有什么好的建议？
如何保证本次抓取的内容正好是从上次抓取完毕的地方开始的呢？
我有个比较笨的方法，就是分批（抽样）抓取数据，每次抓完就判断一下是否重复了。如果重复了就停止抓取。不过我总觉得这样很没效率，不知道大家有没有什么好的建议？
 | 1 wisatbff 2014-10-03 00:31:55 +08:00  1 |
Select Language