这是一个创建于 4513 天前的主题，其中的信息可能已经有所发展或是发生改变。
情况是酱纸滴，想抓某一个博客。
按照以往的思路，是直接写爬虫来爬目录然后爬文章的。
但是，今天突然发现。这个博客原来有FEED输出的。
这样子的话，工作就要轻松好多了。
FEED输出里面只有最近一个月的数据。我想爬去年以及历史的数据。
这个。。。。有没得什么法子？在FEED后面加一些参数可以取出来么？
www.xxooooxx.com/feeds/posts/default
按照以往的思路，是直接写爬虫来爬目录然后爬文章的。
但是，今天突然发现。这个博客原来有FEED输出的。
这样子的话，工作就要轻松好多了。
FEED输出里面只有最近一个月的数据。我想爬去年以及历史的数据。
这个。。。。有没得什么法子？在FEED后面加一些参数可以取出来么？
www.xxooooxx.com/feeds/posts/default
 | 1 haiyang416 2013-06-08 18:38:30 +08:00 via Android 你自己写过feed没，如果知道原理的话，就好办了。 是否支持时间参数要看那博客的作者，不过99%是没有的。 |
 | 2 manoon OP @haiyang416 没写过。FEED是自己写的？我一直以为FEED，是第三的一个服务。只要一使用就可以博客全文FEED输入了。 |
| 3 haiyang416 2013-06-08 18:46:02 +08:00 via Android 不是的，我打不开你那个地址，不知道是什么程序，如果是wp之类的开源程序就是没有的。 feed输出多少，是否全文输出都是博客程序决定的，不过我认为没有人会给个人博客feed加参数，还是爬吧。 |
| 4 manoon OP @haiyang416 blogspot的 找到了一些资料。有些用处，哈哈。不过还是不尽如人意。 3.Other：有以下可下，中用 & 做分隔 alt=rss：制提供RSS，是ATOM max-results=N：最多可提供N篇文章 start-index=N：第N篇文章始提供 orderby=published：提供文章以表作排序依（是以修改的排序） 例：提供完整容的Feed，制RSS 2.0，以表排序，只提供前10篇文章。 |
 | 5 caomu 2013-06-08 19:00:16 +08:00  1 趁现在Google Reader没有关，赶紧从里面扒历史数据。只要之前有人订阅过这个博客就行了，Google服务器会缓存这些数据（这也是为什么Google要关GR很多人惋惜），不过要是之前没人订阅过这个Blog的话，那此法不行。 输出历史条目： https://www.google.com/reader/atom/feed/[Feed地址]?n=1000 （Feed地址最好encode一下） 参：http://www.36kr.com/p/201886.html |
| 6 manoon OP 搞定了。。。。 start-index=N 把这个值设置成“无穷大”或者其它合适的值就OKAY了。。谢谢。 PS：我又找不到V2EX的APPEND按钮了！！！！ |
| 8 haiyang416 2013-06-08 19:15:17 +08:00 via Android 还是google 提供的功能丰富啊，哈哈 |
Select Language