
1 linhua 2019-05-22 11:03:31 +08:00 puppeteer |
2 leebx 2019-05-22 11:05:53 +08:00 1. 很多 js 反爬 ,selenium 是解决不了的,大多需要剖析 js,执行 js 代码才能得到有效参数 2. 各种加密算法,url 中拼接的某些参数是底层算法搞出来的 |
3 linvaux 2019-05-22 11:07:09 +08:00 via Android 脱裤啊 |
4 mytry 2019-05-22 11:08:01 +08:00 JS 爬虫和 Python 有什么关系 |
5 tikazyq 2019-05-22 11:35:00 +08:00 还有 puppeteer,也是调用 chrome 来执行 js,但是对用户比较友好。顺便介绍一下爬虫平台 Crawlab,兼容任何框架任何语言的爬虫平台,http://github.com/tikazyq/crawlab |
6 dongya 2019-05-22 11:52:17 +08:00 存在 js 反爬也有很多情况呀, 内容加密,token 生成啥的, 你的是哪种啊 |
7 lusi1990 2019-05-22 12:31:10 +08:00 via Android 也有反 selenium 的 |
8 danmu17 2019-05-22 18:52:44 +08:00 大部分的 js 反爬都可以通过 python 运行 js 来解决, 不过会提这种低质量的问题, 多半也不会这些基本的东西。 |
11 huaerxiela6 2019-05-25 05:32:31 +08:00 via Android cookie 加密一般来说相较与参数加密,更难找到入口点,需要很多的调试技巧,比如有时需要 hook,hook 不住的时候如何处理等等,我简书 https://www.jianshu.com/nb/14730171 的几个例子就是基于 nodejs 实现的,如何用 py 运行,只是一个调用方式的问题,不行的话还可以用 node 封装接口,重要的是如何模拟加 /解密 |