推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 2527 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近想做大数据分析； 所以想爬取了网易云的所有用户信息；
那么重点来了，我发现，网易云有单模块防御机制； 比如个人用户主页，我爬取了大概 5W+左右，反爬机制就生效了， 不管访问哪一个用户的主页，都是返回 404，连我自己的个人中心都无法登录了；
我试过 cookie 变换，但是得出结论绝对是 IP 被黑了。 请问各位，有没有相关经验。 到底是不是黑了 IP。。。。。
第 1 条附言 2018-11-30 04:54:06 +08:00
根据我那么半个月的爬取，得出稳如狗的结论；
网易云的反爬机制：
首先 Ban Cookie，然后 Ban IP ；
如果更换 IP 了，不更换 Cookie，依然被 Ban ；
所以只要更换 IP 和 Cookie 就可以了，UA 不需要随机。
数据那么多，随机间隔也是没啥用的，自我安慰一下吧。大概是；
网易云的反爬机制：
首先 Ban Cookie，然后 Ban IP ；
如果更换 IP 了，不更换 Cookie，依然被 Ban ；
所以只要更换 IP 和 Cookie 就可以了，UA 不需要随机。
数据那么多，随机间隔也是没啥用的，自我安慰一下吧。大概是；
 | 1 sunzongzheng 2018-11-09 19:38:54 +08:00 via Android  1 我被 ban 过 ip，大概 ban 了 7 到 10 天左右 |
 | 2 smallgoogle OP @sunzongzheng 不是。那么认真的么？ 7-10 天？ |
 | 3 cyrbuzz 2018-11-09 20:49:08 +08:00 网易云的反爬貌似是基于账号的，换 cookies 是有用的吧？ |
 | 4 Baboonowen 2018-11-09 21:01:29 +08:00 来个爬虫代码 让大伙验证一下 嘿嘿 |
 | 5 CivAx 2018-11-09 21:05:10 +08:00 去随便一个云买个小鸡跑一下就知道了 |
 | 6 locoz 2018-11-09 21:23:43 +08:00 via Android 不换 IP 又不在限制范围内当然会被封 IP 啊。。 |
| 7 smallgoogle OP @cyrbuzz 是 IP 挂了。cookie 换过了。无效。 |
 | 8 masterjoess 2018-11-09 22:52:36 +08:00 虽然让你爬了 5W+了，但你该不会是想用单 IP 爬全站吧？全国混拨了解一下 |
| 9 sunzongzheng 2018-11-09 23:03:43 +08:00 via Android @smallgoogle 我上次是 for 循环无延时调的音乐接口，在服务器上，然后被 ban 了这么久 |
 | 10 LukeChien 2018-11-09 23:04:15 +08:00 网易云有啥好爬的 |
 | 11 whoami9894 2018-11-09 23:58:20 +08:00 via Android 我记得原来爬 ins，cookie+ip+请求间隔反爬，接口还乱糟糟，头疼 |
| 12 smallgoogle OP @sunzongzheng 目前来看。我到现在还没解封。估计是六七天才行了。 |
| 13 smallgoogle OP @masterjoess 大概是我太单纯了。 |
| 14 smallgoogle OP 2 这两天摸出结论： 网易云是双封，先在你的 cookies 写入封禁的字段，然后封禁 IP ； 如果你换了 IP，不清理 cookies，一样死； 所以解封的办法是，先清理 cookie，然后换 IP。然后访问就 OK 了。 |
 | 15 cxa 2018-11-12 16:50:07 +08:00 现在还有写爬虫不叫代理的么。。。 |
 | 16 bjt5521 2018-11-14 11:43:49 +08:00 我是做代理 IP 的，我们有个企业客户，成立了一个攻坚反爬部门，专门研究怎么绕过风控抓取数据。现在风控台厉害了 |
| 17 smallgoogle OP @bjt5521 成功绕过了么？ |
 | 18 skywingfs 2018-11-19 17:30:16 +08:00 搞爬虫你需要代理池 |
19 kr380709959 2018-11-22 16:07:42 +08:00 你这单 ip 单 cookie 想爬全站么？ 我一个新手爬拉钩都用了十几个 cookie+代理隧道爬取，爬了 50 万+的数据，压根没毛病。 楼上有个哥们说得对，随机 cookie 列表+代理 ip+随机间隔请求时间，基本上对付中小网站没问题了，除非你想碰阿里这种怪物。 |
 | 20 find456789 2018-11-29 11:00:24 +08:00 |
 | 21 kr380709959 2018-11-29 13:16:08 +08:00 @find456789 我用的是一个账号生成的 cookie，但是不知道网站是不是对 cookie 有限制的。你也可以生成十几个账号对应的 cookie 来爬，那样反爬就更难处理了 |
| 22 kr380709959 2018-11-29 13:17:16 +08:00 |
| 23 smallgoogle OP @kr380709959 其实网易云的反爬除了 IP 还有 cookie。如果 IP 被墙了。Cookie 也是有问题的。。就算你换 IP，不清除 cookie。依然被墙。UA 倒是没限制。 |
| 24 kr380709959 2018-11-30 09:49:56 +08:00 @smallgoogle 那就要仔细研究下了。 |
Select Language