1 xiayun 2018-04-17 16:10:41 +08:00 设置 timeout ? |
2 wcsjtu 2018-04-17 16:33:57 +08:00 多 print, 看卡在哪了。。。 |
![]() | 3 crisewng 2018-04-17 18:04:38 +08:00 你代码也不发 让我们怎么猜。。。。 |
![]() | 4 John60676 2018-04-17 18:11:35 +08:00 ![]() 接楼上,我猜是爬虫累了 |
5 PythonAnswer 2018-04-17 18:14:08 +08:00 via iPhone 栈溢出 |
![]() | 6 xrlin 2018-04-17 18:14:37 +08:00 ![]() 爬虫:爬了这么久,是该歇歇了。 |
7 onepunch 2018-04-17 18:24:44 +08:00 多线程死锁? |
![]() | 8 lan5635 2018-04-17 18:34:20 +08:00 服务器被你爬趴下了? |
![]() | 9 lusi1990 2018-04-17 18:50:47 +08:00 via Android 阻塞了, 链接池释放了吗,设置 timeout 了吗 |
10 jimmyczm 2018-04-17 19:49:22 +08:00 可能虫子被小鸟吃了 |
11 yxwzaxns 2018-04-17 19:51:41 +08:00 via iPhone 开 ssh,我去看看 |
![]() | 12 Ginson 2018-04-17 19:52:15 +08:00 很大可能是请求阻塞了 |
![]() | 13 hhvv23911k 2018-04-17 20:44:36 +08:00 爬虫:我休息一下不行?换你一直爬试试? |
14 dengshuang 2018-04-17 20:45:32 +08:00 用 print 方法检查,那个地方卡了。每个函数下都放个 print. |
15 dingling136 2018-04-18 08:51:41 +08:00 1 楼说的对,很大可能没有设置 timeout。 另外可以加杀死进程的代码。在下一次启动任务时,先执行一下杀死进程。注意 2 个 crontab |
16 lookwi 2018-04-18 08:52:52 +08:00 via iPhone 爬虫:我有自己的想法了,我要看小电影,歇一会 |
17 okzpy9425 2018-04-18 09:23:16 +08:00 只说自己爬虫程序卡死了,也不说自己具体使用的是什么技术。。也不贴代码,这让人怎么给你分析? 大多数原因都是阻塞在了某个链接上,如果你使用 python 的协程 处理不好的话很容易卡死的。 |
![]() | 18 anywalker707 2018-04-18 09:52:20 +08:00 被一只早起的鸟,吃了 |
19 xiangR 2018-04-18 10:05:19 +08:00 可以看一下,是不是卡在打 log 上了。我曾经碰到过,将所有 log 配置都去除,只有在抛异常的时候再打 log |
20 qingshan16 2018-04-18 10:44:22 +08:00 当然是等它复活啊 |
![]() | 21 kongkongyzt 2018-04-18 12:46:40 +08:00 via Android 记得 close connection |