推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
无聊初学 Python 爬虫，日常需要，写了个 IP 代理池程序，自动抓取几个代理网站的免费代理 IP，感觉 IP 质量好差，有没有什么好的建议？
dirls 2017-12-25 09:32:14 +08:00 6946 次点击这是一个创建于 2854 天前的主题，其中的信息可能已经有所发展或是发生改变。
系统功能：
（ 1 ）自动爬取互联网上公开的免费代理 IP （目前已支持西刺代理、快代理、IP181 ）
（ 2 ）周期性验证代理 IP 有效性
（ 3 ）提供 http 接口获取可用 IP
系统逻辑架构：
https://raw.githubusercontent.com/lsdir/proxypool/master/image/architecture.png
GitHub：
https://github.com/lsdir/proxypool
各位大佬：
抓取的 IP 质量好差，有没有什么好的替换方案？
或者程序方面的其他建议都可以交流。
 | 1 rootsir 2017-12-25 09:53:33 +08:00 花钱买 |
 | 2 shmon 2017-12-25 09:58:31 +08:00 买 |
 | 3 tq08iue 2017-12-25 10:33:47 +08:00 免费的通常都没什么质量，像那些大量用这种代理刷人气之类的都是买的，一个 IP 可能几块钱甚至更低。 |
 | 4 mmz0707 2017-12-25 10:47:38 +08:00 买高匿的要靠谱些吧 |
 | 5 yangzhezjgs 2017-12-25 11:22:16 +08:00  1 买，你可以去阿布云之类的，一块钱买一个小时先试一下 |
 | 6 vtwoextb 2017-12-25 11:26:13 +08:00 |
 | 7 ioven 2017-12-25 11:38:37 +08:00 对验证完成的 IP 根据端口、所在地进行分类，然后配置扫描 |
 | 8 zbl430 2017-12-25 11:44:38 +08:00 鲲鹏代理 |
 | 9 cdwyd 2017-12-25 11:48:15 +08:00 就算是收费的很多也是垃圾 拨号 vps 最好用 |
 | 11 Zzde 2017-12-25 14:16:22 +08:00 质量差中调最好的来用 |
 | 13 dongxiaozhuo 2017-12-25 14:54:21 +08:00 via iPhone 买 |
 | 15 jeterli 2017-12-25 19:24:52 +08:00 VerifyProxy 可以做成针对目标检测，代理对于不同站点的可用性可能还不一样（比如已经被 Ban ），尤其这种开放的。 |
 | 17 lhx2008 2017-12-25 20:45:18 +08:00 via Android 买吧，很多收费的自己的服务器揽了家庭宽带的 ip，不是扫的 |
 | 18 Soar360 2017-12-25 22:26:02 +08:00 2 又得秀一波我写的了。最近爬虫用的很 high ～ https://proxy.coderbusy.com/ |
 | 19 mztql 2017-12-26 04:11:03 +08:00 via iPhone 首先有免费的 api，但是免费代理的时效性和连通率都差太多了，最优的是拨号 vps |
 | 20 dirls OP 感谢各位 V 友回复<br> 总结起来 2 种替代方案：<br> 1、花钱买<br> 2、自己拉网线自动拨号重启切换 IP<br> 无奈以后爬虫要部署在阿里云之类的云主机的，拨号方案不可取。花钱买代理，系统太依赖别人，IP 质量也参差不齐，嘤嘤嘤。 |
 | 21 huanter 2017-12-26 13:45:50 +08:00 @dirls 我也初学 PYTHON 我用的你的代码试着添加一个 Plugin 网址如： https://proxy.coderbusy.com/zh-cn/classical/anonymous-type/transparent/p2.aspx 但报错了。 Log 如下： 。 。 。 2017-12-26 13:26:49,535 connectionpool.py[line:805] INFO Starting new HTTPS connection (1): proxy.coderbusy.com 2017-12-26 13:26:49,541 getproxy.py[line:71] ERROR request error, spider plugin: 码农, url: https://proxy.coderbusy.com/zh-cn/classical/anonymous-type/transparent/p9.aspx/, error: maximum recursion depth exceeded 。 。 。 求解答。 谢谢！！！ |
 | 22 hjuj91 2017-12-29 21:10:21 +08:00 为啥不用 tor ？ |
Select Language