推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
问个问题，要把淘宝 支付宝的登陆 完全用 requests urllib 写出来，需要多强的前端和爬虫水平
zgbgx1 zgbgx 2017-09-19 11:20:31 +08:00 8786 次点击这是一个创建于 2954 天前的主题，其中的信息可能已经有所发展或是发生改变。
我是从 java web 转到爬虫和数据的，以前，也要自己写前端，但是看到阿里的这些前端的各种各样的东西，有些实在找不到请求发出的文件，找不到具体哪个请求可能设置了 cookie 或 session，还有很多前端加密的东西 也不是很熟
 | 1 hu0097 2017-09-19 13:01:07 +08:00 登录有加密的，刚入门搞不定的。用 selenium 吧 |
 | 3 LukeChien 2017-09-19 14:12:36 +08:00 用 Chrome Headless |
 | 5 fy 2017-09-19 15:00:40 +08:00 需要 selenium/chrome headless |
 | 6 shingle 2017-09-19 18:14:58 +08:00 完全模拟是几乎不可能的，光`ua`参数的加密就够你受的了 |
 | 7 102400 2017-09-19 19:24:48 +08:00 搞定这个登录不会少于 1k 的，建议放弃或者直接找人买 |
 | 8 zzNucker 2017-09-19 19:29:51 +08:00 1k 你想多了 起码 w 起 |
 | 10 regicide 2017-09-19 20:10:45 +08:00 via iPhone 去逆向网易有财的 app 包看他们怎么实现的 |
 | 11 neoblackcap 2017-09-19 20:12:51 +08:00 干爬支付宝的早死了，第频率的还可，高频率的，技术封了，触发风控系统，做爬虫很难解决的。 |
 | 12 binux 2017-09-19 20:16:46 +08:00 用 requests 写个代理，然后把浏览器设置到你代理上，这算不算「完全用 requests urllib 写出来」？ |
 | 13 fiht 2017-09-19 21:22:53 +08:00 无法量化 成本过高 不如用印度云手工登录生成 cookie |
 | 14 wuhau 2017-09-19 22:30:10 +08:00 taobao 用 selenium，抓 cookie2，之前做淘宝客搞过这玩意。淘宝就不清楚了。 |
 | 15 ob 2017-09-19 23:13:53 +08:00 via Android 现在稍微登录情景有点不一样，就开始手机验证，地址验证，各种验证。。 |
| 16 LukeChien 2017-09-20 00:31:12 +08:00 起台虚拟机跑 Chrome Headless，可以搞 |
 | 17 Luckyray 2017-09-20 00:53:29 +08:00 via iPhone 那个 ua 就卡死我了…… |
 | 18 FanWall 2017-09-20 03:00:55 +08:00 via Android 来说一下～楼上 1w 也想多了，别说纯算法了，就是临时的解决方案也不是这个价格。 加密代码混淆且经常更新的，且都是业界顶级。 而且以支付宝的开发能力，我觉得这种前端加密在不远的未来就几乎无解：破了一个混淆？那我重新混淆下;破了混淆机制？那我换个混淆机制换个算法… 通用解决方案也许是对底层十分精通的人才能做到的吧。。写个专用的解释器出来？猜的。。。 |
 | 19 daimao 2017-09-20 03:04:48 +08:00 你 xx 出多少， 我阿里出两倍（ |
 | 20 jingniao 2017-09-20 08:40:34 +08:00 via Android 感觉不光是技术问题，淘宝支付宝现在动不动就手机验证之类的，风控麻烦 |
 | 21 huanglongtiankon 2017-09-20 08:41:16 +08:00 想要纯技术突破还是别想了，最现实的解决方案是手工登录后拿到 cookies，然后再爬 |
 | 22 zgbgx1 OP @huanglongtiankon webdriver 登陆，拿到 cookies，然后再爬的已经做了，还有内置浏览器拿 cookies 的方案 |
 | 23 Ehco1996 2017-09-20 09:06:42 +08:00 via iPhone |
 | 24 loveCoding 2017-09-20 10:04:04 +08:00 淘宝的反爬虫不是开玩笑 |
 | 25 levon 2017-09-20 10:07:47 +08:00 如果是去爬淘宝的网页，即使登录实现了，也意义不大。反爬虫机制级别很高。 |
 | 26 jccg90 2017-09-20 12:41:04 +08:00 成本很高，因为要登录，所以要找一堆账号来测试，失败了账号就被标记了，整天就各种验证。。。只能换账号 |
 | 27 m939594960 2017-09-20 13:19:45 +08:00 @FanWall #18 别想得这么难，这么贵。实际上私下多少人流通这套技术你也不知道。。而且算法不可能变动的那么频繁的，一年变一回就不错了 |
 | 28 ioriwong 2017-09-20 15:02:46 +08:00 via iPhone 我做过虚拟机自动取得 Cookies 的方案 |
 | 29 googlebot 2017-09-20 15:53:53 +08:00 via iPad 跟马云的余额宝都，需要勇气， |
 | 30 sarices 2017-09-20 16:44:31 +08:00 淘宝打开链接快一点都提示输入验证码，特别是各种电子票，旅游子类的。 |
 | 31 sola97 2017-09-20 16:50:51 +08:00 不敢想 |
 | 32 a234712524 2017-09-29 14:00:49 +08:00 @hu0097 请问你的联系方式多少，我有点事情想向你咨询 |
Select Language