
1 bwnjnOEI 19 天前 via iPhone 面对动态页面和抗反爬稍微复杂点的就不行了吧 简单的网站依然可以用啊 |
2 donaldturinglee 19 天前 scrapy 一直就不是单着用的吧?没过时,但是你可以学一下 playwright |
3 sgld 19 天前 试试 DrissionPage ? |
4 zonde306 19 天前 简单就 scrapy ,复杂就不用框架,直接操作浏览器 例如 camoufox patchwright |
5 azzzzzz 19 天前 未来还是直接模拟浏览器的吧 |
6 IIce 18 天前 毕业之后就没用过 scrapy 了,有自研的,也有 feapder, 还有一些就是一个 requests 脚本,可能项目不够大吧 |
7 1018ji 18 天前 浏览器还能抓啥,APP 走起 |
8 Toowhite7 18 天前 Selenium or playwright |
9 tim2017 18 天前 via iPhone 之前用过简数的代爬,收费还可以,以前免费提供大量知名网站的模版,现在都限制了。 我公司网站靠爬虫每天上百 IP ,几年没更新了。 国内互联网 V2EX 这种开放性的 web 原创数据越来越少了,都是私域平台。 |
11 llsquaer 18 天前 一个项目一个 py 还要啥 scrapy .. |
12 securityCoding 18 天前 via Android chrome cdp? |
13 gopo 18 天前 1. 逆向协议(网页优先,APP 其次) 2. 自研浏览器、模拟器(主要过指纹还有方便自定义) 3. 简单网站(静态和动态的区别)随便搞 |