这是一个创建于 3220 天前的主题，其中的信息可能已经有所发展或是发生改变。
爬虫实践基于 webmagic ，提供一个例子用于层次化主题帖子和二级帖子及内容。
webmagic 介绍 https://www.oschina.net/p/webmagic
5 分钟实现爬 oschina 帖子 https://git.oschina.net/ihuotui/webmagic-sample
目标
1 遍历主题列表
2 读取主题详情页，获取目标文件或者图片或者内容
3 （可选）读取主题详情页下一页，获取目标文件或者图片
4 （可选）下载目标文件
说明，使用 redis 作为进度保存。
基于以上目标
1 写了一个抽象类 AbstractPageAndSubPageProcessor 作为遍历抽象，子类集成后，实现一些逻辑就可以运行。
2 使用 DownloadUrlFileThread 来下载具体文件。
3 测试方法运行 test 目录的 AbstractPageTest
webmagic 介绍 https://www.oschina.net/p/webmagic
5 分钟实现爬 oschina 帖子 https://git.oschina.net/ihuotui/webmagic-sample
目标
1 遍历主题列表
2 读取主题详情页，获取目标文件或者图片或者内容
3 （可选）读取主题详情页下一页，获取目标文件或者图片
4 （可选）下载目标文件
说明，使用 redis 作为进度保存。
基于以上目标
1 写了一个抽象类 AbstractPageAndSubPageProcessor 作为遍历抽象，子类集成后，实现一些逻辑就可以运行。
2 使用 DownloadUrlFileThread 来下载具体文件。
3 测试方法运行 test 目录的 AbstractPageTest
第 1 条附言 2017-01-12 19:20:35 +08:00
不过觉得框架的处理页面只能单个 processor ，应该设计成责任链，然后可以根据不同的页面写不同的 processor 。
 | 1 spice630 2017-01-12 18:09:51 +08:00 臃肿的 java 推荐你学下 golang https://github.com/songtianyi/laosj |
 | 3 jurant 2017-01-12 19:22:12 +08:00 唉 java 看一半就没学了. |
 | 4 luban 2017-01-12 19:26:20 +08:00 webmagic 设计还是很好的 |
 | 7 zingl 2017-01-12 23:53:56 +08:00 5 分钟可以开始爬一个网站 |
Select Language