
本来我只是随便玩玩,没想到后来不断改进成了现在这个样子。

刚开始的时候就几个节点,后来慢慢增加到了现在大约快 200 个节点,爬虫代码也写了一千行(不算调度与杂项), 这些节点根据多方面考量,大致分为 五分钟、一刻钟、一个小时、三个小时、六个小时、十二个小时、二十四个小时等不同的定时爬取等级。
有利益考量,也有发电情怀。

其中 pages 就是 总页面数,count 就是你获取的条数,data 里面的每一个成员都是一条新闻,包含了标题、链接、热度等信息。知乎实时热搜数据大约 50 条,如果你取每页 50 条数据,那么返回的 pages 就会为 1
自己写的爬虫,还算挺稳定的,除了个别偷懒的节点,主流节点自从我写完以后基本没有出过问题。
QQ 群:114177
如果你有好的节点分享, 我也会考虑写一个对应的爬虫。 谢谢。
1 Tink PRO 好人 |
2 Austin2035 OP xdm,别光收藏,不如来评论一下 |
3 ansonsiva 2020 年 8 月 6 日 收藏了 |
4 xJogger 2020 年 8 月 6 日 很不错,改天试试用 Scrapy 爬取一下。 |
5 Austin2035 OP @xJogger xd,api 给你们就是不想让你们爬 |
6 qilishasha 2020 年 8 月 6 日 via iPhone API 是啥?这是否定我们写爬虫的能力吗? |
8 lloovve 2020 年 8 月 6 日 via iPhone 群号牛逼啊 |
9 Austin2035 OP |
10 revalue 2020 年 8 月 6 日 时间真多 |
11 revalue 2020 年 8 月 6 日 多谢老哥 |
12 HereApp 2020 年 8 月 6 日 请问 综合 新闻 科技 财经 社区 汽车 购物 阅读 影音 首页这一排的 API 是什么? |
13 Austin2035 div class="badges">OP 2020 年 8 月 7 日 @HereApp 这些都是大节点中最重要的一个子节点,群内讨论吧。 |
14 kingddc314 2020 年 8 月 7 日 赞一个 |
15 keepfun 2020 年 8 月 7 日 域名 和内容 十分契合 炫目好的域名+好的内容 的组合体 |
16 40EaE5uJO3Xt1VVa 2020 年 8 月 7 日 好人一生平安 |
17 pikaconan 2020 年 8 月 7 日 666 |
18 wukong1024 2020 年 8 月 7 日 好人一生平安 |
19 sadghgfsf542332 2020 年 8 月 8 日 这个站要火! |
20 bulaocai5 2020 年 8 月 8 日 谢谢 分享 已经藏了 |
21 hrbwaxdoll 2020 年 8 月 10 日 @lookcos 加个微信呗,有合作需求 waxdoll |
22 justin2018 2020 年 8 月 11 日 很不错,改天试试用 Scrapy 爬取一下 |
23 janda 2020 年 8 月 12 日 好东西、收藏了 |
24 lavvrence 2020 年 8 月 13 日 伸手党:想要一个命令行客户端。 |
25 tonfy 2020 年 8 月 17 日 好东西,收藏了 |
26 touno 2020 年 8 月 18 日 弱弱的问一句~这侵权违法吗? |
27 huruji 2020 年 8 月 20 日 收藏 |
28 yigemeirenyongde 2020 年 9 月 17 日 好人一生平安 |