推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3115 天前的主题，其中的信息可能已经有所发展或是发生改变。
抓代理:
项目地址: fate0/getproxy
工作原理很简单，也就是去抓代理网站、过滤可用 ip、存储至文本。更多信息可以看 README.md
代理池:
项目地址: fate0/proxylist
- 使用 fate0/getproxy 程序抓取代理
- 使用 Travis CI 跑程序，并将结果 push 到仓库中
- 使用 webtask.io 作为 cron，每 15min 触发 Travis CI 构建一次。
正常情况下，代理池的数据在 2000 - 3000 之间
最后:
欢迎各种 star、issue 以及 pr (·`ω)
 | 1 ixinshang 2017-06-20 21:06:58 +08:00 via Android 支持，需要这种 |
 | 2 wwek 2017-06-20 21:18:36 +08:00 支持 |
 | 3 mingyun 2017-06-20 23:04:15 +08:00 INFO:getproxy.getproxy:[*] Init INFO:getproxy.getproxy:[*] Current Ip Address: 36.102.227.142 INFO:getproxy.getproxy:[*] Load input proxies INFO:getproxy.getproxy:[*] Validate input proxies INFO:getproxy.getproxy:[*] Load plugins INFO:getproxy.getproxy:[*] Grab proxies ERROR:getproxy.plugin.cnproxy:[-] Request page 1 error: ('Connection aborted.', ConnectionAbortedError(10053, '您的主机中的软件中止了一个已建立的连接。', None, 10053, None)) ERROR:getproxy.plugin.freeproxylist:[-] Request page 0 error: HTTPSConnectionPoo l(host='free-proxy-list.net', port=443): Max retries exceeded with url: / (Cause d by ConnectTimeoutError(<urllib3.connection.VerifiedHTTPSConnection object at 0 x03529A30>, 'Connection to free-proxy-list.net timed out. (connect timeout=10)') ) ERROR:getproxy.plugin.proxylist:[-] Request page 1 error: HTTPConnectionPool(hos t='proxy-list.org', port=80): Max retries exceeded with url: /english/index.php? p=1 (Caused by ConnectTimeoutError(<urllib3.connection.HTTPConnection object at 0x03531730>, 'Connection to proxy-list.org timed out. (connect timeout=10)')) ERROR:getproxy.plugin.txt:[-] Request url http://www.proxylists.net/http_highano n.txt error: HTTPConnectionPool(host='www.proxylists.net', port=80): Max retries exceeded with url: /http_highanon.txt (Caused by ConnectTimeoutError(<urllib3.c onnection.HTTPConnection object at 0x035423F0>, 'Connection to www.proxylists.ne t timed out. (connect timeout=10)')) INFO:getproxy.getproxy:[*] Validate web proxies 环境 Python3 win7 |
 | 4 wujunze 2017-06-20 23:05:18 +08:00 支持 已经 star |
 | 5 v1024 2017-06-20 23:55:38 +08:00 via iPhone travis 看了想骂娘 |
 | 8 ssack9 2017-06-21 07:37:43 +08:00 via iPhone 不错啊 |
 | 9 Midnight 2017-06-21 08:42:09 +08:00 已 star |
 | 10 tausi0661 2017-06-21 10:30:47 +08:00 已 star |
 | 11 inmyfree 2017-06-21 11:29:30 +08:00 lz 考虑加这个不 proxydb.net |
 | 12 fate0 OP @inmyfree 之前也想抓这个网站，但是这个网站更新的速度是小时级的...后期可能会加上去，不过数据肯定不是全抓下来。 |
 | 13 openbsd 2017-06-21 14:52:54 +08:00 这个可以有 |
 | 14 majiawei 2017-06-21 17:08:07 +08:00 已 star，之前有些小工具需要用到代理，然后屁颠屁颠去各个代理网站手动拷贝了几个顶着用哈哈哈哈 |
 | 15 bozong 2017-06-22 09:56:43 +08:00 我擦。牛逼 |
Select Language