1 FightingX 2019-04-28 12:31:23 +08:00 我一般基于 httpclient 自己写下载器 |
3 xioxu 2019-04-28 14:24:37 +08:00 虽然平时我也写 java, 但爬虫我还是喜欢用 python 的 scrapy, 简单好用, 爬虫常用场景都有内在支持。 |
![]() | 4 fwrq41251 2019-04-28 14:29:27 +08:00 ![]() |
![]() | 5 yestodayHadRain 2019-04-28 16:55:22 +08:00 Gecco 了解一下,我也是这几天刚接触的,感觉还是挺方便的 |
6 swuzjb 2019-04-28 17:23:06 +08:00 Jsoup |
![]() | 7 canbingzt 2019-04-28 17:31:20 +08:00 这种框架如果没有遇到 bug 的话,更新不更新应该是无所谓的吧,能满足需求就行了啊 |
![]() | 8 quadrapop 2019-04-28 17:49:50 +08:00 python 写爬虫就行,反正都是保存到数据库 java 一般我们用 Jsoup,还可以 |
![]() | 9 uminokoe 2019-04-28 18:23:26 +08:00 歪个楼,遇到需要使用 selenium 的情况用什么框架好呢? |
![]() | 10 xyooyx 2019-04-29 08:17:23 +08:00 jdk11 开始内置 httpclient,可以配置 cookieMnager 自动管理 Cookie |
11 zhangjinglongi 2019-04-29 09:18:34 +08:00 dongliu 的 reuqests 也挺好用的,模仿的 python 的 |
12 ala2008 2019-04-29 09:36:03 +08:00 一般使用就可以了吧 |
13 xinQing 2019-04-29 21:40:08 +08:00 这个 webmagic 很成熟了啊,源码也比较简单,推荐使用~ |
15 wiix 2019-05-05 02:11:17 +08:00 手撸一个 |