经常写爬虫的大佬们是如何不让程序中断的？

Try..Except...

Supervisor

还是对库的行为不熟悉吧 233
直接 panic 的库当然就不要用了，除非做的是随时崩溃随时恢复

catch 。

查一下文档这个函数会抛什么异常，都接住就好……

try:
except:
pass

python ？
每个任务最外侧接住所有异常并打印日志。

难道不是 try catch 么，然后最好通知和记录，这个点爬不下去了继续爬别的点，如果出现大量错误做更高级别的通知，比如 server 酱啊，或者发个邮件啊，就这样。

打好 log 就好

let it crash

另外再补充下非爬虫涉及第三方的复杂任务，直接 multiprocessing.Process 另起一个进程来跑，出故障也只是任务进程出问题，主进程不会出问题，超时之类的情况直接杀子进程的进程树树，方便。

@gamexg 老司机

一般用 queue 做多线程任务队列，然后在 worker 线程上先处理已知可能出现的 exception ，然后再套一个 except Exception 来抓未知的。

最后正常的任务会放到完成 queue 里，跳了未知 exception 的会放到一个 error queue 里，这样你可以人工处理完之后把 error queue 的全都倒回待处理 queue 里。

当然，肯定需要完整的 log 才方便查错了

用 REDIS 做队列，失败的用 TRY EXCEPT 再 PUSH 到未爬队列里

抛出一个异常，然后记录下来，以后再尝试呗

用 scrapy 啊，而且爬之前要尽量搞清楚哪里会抛异常，并标记 try except 。

为什么会全部停止？单线程爬取？
开多线程的话，暴力点处理就是在线程最外面 catch 所有异常，记下本次抓取的 url ，重新投递到任务队列。
对获取不成功的 url 进行重试计数，超过重试次数限制的就不再投递到任务队列，记下来，人工处理。

try catch 啊

守护进程