练手写了个爬虫，但是总是死锁，找了两天也没有找到原因

难道不是 IO 的问题？

py2 和 py3 混一起？

也有可能是网络卡住了， request 要加 timeout

楼上正解

@102400 不知道，所以才发帖求助，尝试过把 sqlite 的读写注释掉，但是问题依然存在

@a87150 如果是 py3 在 2.7.12 下运行不起来吧

@9hills @aabbccli requests 应该有默认的 timeout 吧，但是卡着的时间特长，从数据库里的记录看最长的一次有三个多小时。我等下试试再来反馈

@hohoho

except Exception as e:
print(u'代理获取异常：{}'.format(e))

这个明显是 3 的语法吧。

except ProxyError:
self.proxies_list.remove(proxy)
self.crawl(url)
难道不是这个吗？重复调用, 不断 ProxyError 就不断死循环

你不是死锁，而且网路断开后，没有写处理相关异常的组件吧？他就一直维持死循环了。

@9hills 是对的， @hohoho 你这个存在死锁的可能性非常少， 你用 pycharm 跟踪一下，你会发现没有默认的 timeout ， timeout 要自己加。 python2 自带的 urllib 包里面也有这种问题。另外，你可以看到你这个进程的 channel 状态是 sk_wait_data ，就算用 curl 也可能出现你这种问题： http://stackoverflow.com/questions/20576369/wget-hanging-script-stops

加 log ，看日志，分析停在什么地方了
感觉程序停止的情况有很多，死循环，超时，死锁，异常 catch 了没抛出等等，具体问题具体分析

多谢大家，已经按照 @9hills 说的解决此问题。

@a87150 python 语法不是太熟，还不太清楚 2 和 3 的具体区别，看别人项目照葫芦画瓢写的。

@BiggerLonger @titianxingdaozhe 谢谢提醒，只是代理错误的话不会陷入死循环，但是代理池空了且 ip 被封了时会陷入死循环， 这里还未做处理。

@rale 确实是这个问题。

在 linux 上就 strace 查看下。
使用 requests 的时候需要注意默认是没有加 timeout 的。