我试了 scapy/request/BeautifulSoup 的方案,只能抓一般网站。
用来抓 Twitter, Quora 会显示“Javascript 不支持"等,Reddit 只能抓到楼主的提问,回复全部抓不到。
后来改成用 Selenium 倒是可以全部抓了,但是 Selenium 方案太重了。
请问:
1.有没有优雅方案可以抓上述几个社交平台指定 url 的内容?
2.如果没有,有第三方的 API (可以接受付费)支持吗?
用来抓 Twitter, Quora 会显示“Javascript 不支持"等,Reddit 只能抓到楼主的提问,回复全部抓不到。
后来改成用 Selenium 倒是可以全部抓了,但是 Selenium 方案太重了。
请问:
1.有没有优雅方案可以抓上述几个社交平台指定 url 的内容?
2.如果没有,有第三方的 API (可以接受付费)支持吗?
