推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
请问大家， scrapy 的代理 IP 哪里搞？极光的代理 IP 太贵了，有没有便宜点的？
moxiaowei 2018-11-07 10:45:22 +08:00 6972 次点击这是一个创建于 2535 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近在写爬虫，没有代理 IP 没法搞，请问大家，scrapy 的代理 IP 哪里搞？极光的代理 IP 太贵了，有没有便宜点的？
 | 1 SpiderXiantang 2018-11-07 10:56:55 +08:00 便宜的可用率低，可用率高的又贵 |
 | 2 moxiaowei OP @SpiderXiantang 是的 是的 纠结的一笔 |
| 3 moxiaowei OP @SpiderXiantang 能问下 您用的啥么？ |
| 4 SpiderXiantang 2018-11-07 11:01:17 +08:00 @moxiaowei 芝麻 可以给 n 个蜘蛛用 不过有点贵 |
| 5 moxiaowei OP @SpiderXiantang 谢谢 我来看下 。 |
 | 6 glacer 2018-11-07 11:04:17 +08:00 需求量小的话，用 IPProxyPool 来爬免费代理，可以有大概 100 个左右可用的 ip。https://github.com/qiyeboy/IPProxyPool 需求量大的话就只能买代理服务，或者动态 vps 搭 squid 来实现。 |
 | 7 ioven 2018-11-07 11:04:49 +08:00 买些垃圾 vps 自己搭建 |
| 8 SpiderXiantang 2018-11-07 11:07:38 +08:00 @glacer 免费代理实际效果不是很理想 |
| 9 moxiaowei OP 就是 不是有个西刺么 上面的 IP 多的 但是都不能用 垃圾的一笔 |
 | 10 hellove1985 2018-11-07 11:15:36 +08:00 以前用过一段时间这个免费的 https://github.com/fate0/proxylist，不知道现在还能不能用。 |
| 11 moxiaowei OP @hellove1985 好的 我来看看 |
 | 12 princelai 2018-11-07 11:32:22 +08:00 via Android 我用大象，便宜给得多，可用率没算过，估计不高，冲 10 块钱用一个月 |
 | 13 kdwycz 2018-11-07 11:36:02 +08:00 很好奇 ip 代理服务的 ip 来源是什么 |
 | 14 est 2018-11-07 11:53:39 +08:00 |
 | 15 xiaobai9927 2018-11-07 11:58:30 +08:00 免费代理都不靠谱，100 个 IP 中有一两个可用已经很好了。 而大部分便宜的代理也不靠谱，买过几个小时和一天和一个月的，几块钱那种，反正不能爬。要么连接不上，要么 403， 有好的介绍下，同求。。。 |
 | 16 kr380709959 2018-11-07 13:07:37 +08:00 蘑菇代理还不错，之前爬的时候用过。可靠性高，价格也不算很高，主要是按次收费 |
 | 17 WildCat 2018-11-07 13:11:21 +08:00 |
 | 18 JCZ2MkKb5S8ZX9pq 2018-11-07 14:14:26 +08:00 我的方案，自己写个工具，定器爬取世面上的免费代理，测速，然后把好用的拿出来轮流使用。 |
| 19 moxiaowei OP @JCZ2MkKb5S8ZX9pq 我拿到代理 IP 也会验证的，不过有个问题是，这一刻能用，并不能保证下一刻也能用，所以，轮流使用我感觉不靠谱 |
| 20 JCZ2MkKb5S8ZX9pq 2018-11-07 17:34:07 +08:00 @moxiaowei 调用方法我也检测的，好用不好用的都打标记，好用的继续排队，不好用的后台定期重试，超过次数丢弃。 |
 | 21 eastlhu 2018-11-07 17:58:27 +08:00 via iPhone @JCZ2MkKb5S8ZX9pq #18 羊毛高手 |
 | 22 ji4ozhu 2018-11-07 22:13:56 +08:00 www.54nb.com 挂机宝了解一下 |
| 23 moxiaowei OP @JCZ2MkKb5S8ZX9pq 我已经解决了。开线程验证，很快就验证完，然后立刻使用，这样成功率相对高了很多 |
| 24 JCZ2MkKb5S8ZX9pq 2018-11-08 23:15:18 +08:00 @moxiaowei 那蛮好。我那时候是碰到腾讯的云防火墙，单 ip 太频繁会被 b，所以不得不排队。 |
 | 25 sw10 2018-11-25 10:52:42 +08:00 |
Select Language