frogex

@xiao38245
手机淘宝是二进制的协议吧，要破协议，这个我没经验。而且直接抓接口的方法淘宝随便封更容易，感觉还是模拟人的操作稍微靠谱点

@IWSR
那能怎么办？讨论爬虫的帖子超级多，可讨论反爬的实在太少了，工作这么久身边也基本没一个人做过这些的

@dengtongcai
请看全文，不仅是登陆，是要长期稳定的爬，且能过各种滑块，目前最终方案在 23F， 放 win 虚拟机跑了

@dengtongcai
爬简单，要能稳定长期、全自动化、有效的爬才难啊

@yinaqu
淘宝检测了什么我不确定是不是只在 sufei_data 那个 js 里，从我分析看，至少有检测了 10 个函数，至少 headless 都 pass 了和非 headless 一样的结果。其他的实在看不下去了，都是混淆过的代码，命名 abcdefg，函数各种混着赋值，似乎要人肉维护一个函数调用关系

@soulmine
我也知道，公司安全的负责人也说，你一个人怎么能应付一个团队，不要硬肛，要想别的办法，但什么大淘客还是不行啊，搜不到我要的。 但这爬东西又是公司必须的任务，之前从来没搞过，忧虑了好久，总没彻底去解决。

淘宝也有付费 api，不过 leader 还是希望能神不知鬼不觉的用爬虫比较好

@lkwfive
没试过这个，有空试下吧，不过用什么工具 taobao 应该还是都会检测的

@yinaqu
工作很多年了，90%时间写 C++

@yumenlong
不会 pyqt，不过应该不只是 selenium 的问题，光看 taobao 的 js 就有 chromedriver 的指纹检测