这是一个创建于 3957 天前的主题，其中的信息可能已经有所发展或是发生改变。
在阿里云服务器上跑一个爬虫，开始的时候能够有6000左右的连接数，过了一会连接数就只剩下60左右了，而且重启服务器再开启爬虫连接数也只有60左右
同样的程序在AWS上就没这个问题
同样的程序在AWS上就没这个问题
 | 1 akira 2015-02-28 14:22:27 +08:00 云盾关了看看 |
 | 2 Yamade 2015-02-28 14:51:06 +08:00 换azure看下？ |
 | 3 mornlight 2015-02-28 15:06:27 +08:00 找客服啊 |
 | 4 ultimate010 2015-03-01 18:45:31 +08:00 via Android 文件描述符够吗？ |
 | 5 zwzmzd OP @ultimate010 这个已经改过了，而且连接一开始是建立了的，但是很快被大量关闭。 |
| 6 ultimate010 2015-03-02 00:16:54 +08:00 @zwzmzd 抓取链接复用很重要,不要每次都开启关闭socket,可以用python的requests来管理这个.很方便,性能也很高. |
 | 7 jedihy 2015-03-02 01:31:45 +08:00 先找到被快速关闭的原因，tcpdump看看，是不是被rst了 |
 | 8 nilai 2015-03-02 16:09:21 +08:00 连接池很重要。 |
 | 9 bingx86 2015-03-02 17:00:14 +08:00 。 阿里云工单提一个 |
| 10 zwzmzd OP @bingx86 工单提了，那边说没触发防护系统，让我找程序自己的问题 @nilai @ultimate010 这个是imap的邮件爬虫，不是爬特定的服务器 由于程序不是我写的，排查也比较麻烦，正在和作者一起找问题 |
| 11 ultimate010 2015-03-03 21:09:38 +08:00 @zwzmzd 可以本机测试一下,如果本机没问题,阿里上有问题,那么可以确认是阿里的问题. 以前用过腾讯云爬大量数据,每天抓几百万页面,用好连接复用一点问题都没有,cpu跑完,带宽跑不满. |
Select Language