爬虫程序爬着爬着就假死了,也不抛异常,就一直卡在那里,怎么搞 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sits
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
wsds
V2EX    Python

爬虫程序爬着爬着就假死了,也不抛异常,就一直卡在那里,怎么搞

  •  
  •   wsds 2018-04-17 15:15:13 +08:00 8202 次点击
    这是一个创建于 2743 天前的主题,其中的信息可能已经有所发展或是发生改变。
    21 条回复    2018-04-18 12:46:40 +08:00
    xiayun
        1
    xiayun  
       2018-04-17 16:10:41 +08:00
    设置 timeout ?
    wcsjtu
        2
    wcsjtu  
       2018-04-17 16:33:57 +08:00
    多 print, 看卡在哪了。。。
    crisewng
        3
    crisewng  
       2018-04-17 18:04:38 +08:00
    你代码也不发 让我们怎么猜。。。。
    John60676
        4
    John60676  
       2018-04-17 18:11:35 +08:00   10
    接楼上,我猜是爬虫累了
    PythonAnswer
        5
    PythonAnswer  
       2018-04-17 18:14:08 +08:00 via iPhone
    栈溢出
    xrlin
        6
    xrlin  
       2018-04-17 18:14:37 +08:00   1
    爬虫:爬了这么久,是该歇歇了。
    onepunch
        7
    onepunch  
       2018-04-17 18:24:44 +08:00
    多线程死锁?
    lan5635
        8
    lan5635  
       2018-04-17 18:34:20 +08:00
    服务器被你爬趴下了?
    lusi1990
        9
    lusi1990  
       2018-04-17 18:50:47 +08:00 via Android
    阻塞了, 链接池释放了吗,设置 timeout 了吗
    jimmyczm
        10
    jimmyczm  
       2018-04-17 19:49:22 +08:00
    可能虫子被小鸟吃了
    yxwzaxns
        11
    yxwzaxns  
       2018-04-17 19:51:41 +08:00 via iPhone
    开 ssh,我去看看
    Ginson
        12
    Ginson  
       2018-04-17 19:52:15 +08:00
    很大可能是请求阻塞了
    hhvv23911k
        13
    hhvv23911k  
       2018-04-17 20:44:36 +08:00
    爬虫:我休息一下不行?换你一直爬试试?
    dengshuang
        14
    dengshuang  
       2018-04-17 20:45:32 +08:00
    用 print 方法检查,那个地方卡了。每个函数下都放个 print.
    dingling136
        15
    dingling136  
       2018-04-18 08:51:41 +08:00
    1 楼说的对,很大可能没有设置 timeout。
    另外可以加杀死进程的代码。在下一次启动任务时,先执行一下杀死进程。注意 2 个 crontab
    lookwi
        16
    lookwi  
       2018-04-18 08:52:52 +08:00 via iPhone
    爬虫:我有自己的想法了,我要看小电影,歇一会
    okzpy9425
        17
    okzpy9425  
       2018-04-18 09:23:16 +08:00
    只说自己爬虫程序卡死了,也不说自己具体使用的是什么技术。。也不贴代码,这让人怎么给你分析?

    大多数原因都是阻塞在了某个链接上,如果你使用 python 的协程 处理不好的话很容易卡死的。
    anywalker707
        18
    anywalker707  
       2018-04-18 09:52:20 +08:00
    被一只早起的鸟,吃了
    xiangR
        19
    xiangR  
       2018-04-18 10:05:19 +08:00
    可以看一下,是不是卡在打 log 上了。我曾经碰到过,将所有 log 配置都去除,只有在抛异常的时候再打 log
    qingshan16
        20
    qingshan16  
       2018-04-18 10:44:22 +08:00
    当然是等它复活啊
    kongkongyzt
        21
    kongkongyzt  
       2018-04-18 12:46:40 +08:00 via Android
    记得 close connection
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5376 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 38ms UTC 05:57 PVG 13:57 LAX 22:57 JFK 01:57
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86