美团云你变了,准备在美团云放爬虫的注意有个大深坑. - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
xiaocsl
V2EX    云计算

美团云你变了,准备在美团云放爬虫的注意有个大深坑.

  •  
  •   xiaocsl 2016-05-28 09:59:12 +08:00 7747 次点击
    这是一个创建于 3506 天前的主题,其中的信息可能已经有所发展或是发生改变。
    前几天美团云有活动,买了台服务器,5Mbps 的带宽.跑爬虫服务器下行死活卡在 10Mbps,而上行才用了 3Mbps 出头.
    下行被限制的就 10Mbps,一旦跑着爬虫 xshell 都变成卡死状态.

    去年的时候用过一个月的美团云,记得那时候下行都是 20Mbps+的口.

    在阿里云买的 4Mbps 的带宽,实际上跑爬虫 下行 15Mbps 左右上行 4.5Mbps,效率是被行卡住的.
    腾讯云同阿里云爬虫效率的瓶颈都是上行.在美团云这被下行卡住真是心塞.

    发工单问了,结论就是:"接收速率我们限制的是 10M"

    所以如果要准备在美团云放爬虫或者其他比较吃下行的程序时要特别注意了..
    14 条回复    2016-08-03 21:14:25 +08:00
    xiaoz
        1
    xiaoz  
       2016-05-28 10:07:37 +08:00 via iPhone
    估计爬虫这东西要多台服务器才行
    Marfal
        2
    Marfal  
       2016-05-28 10:15:44 +08:00 via iPhone
    美团云本来下行就低
    feiyunfirst
        3
    feiyunfirst  
       2016-05-28 10:46:22 +08:00
    垃圾的很 美团云!我用了他们一年多,突然有一天把 80 端口给封了说网站没备案,还晚上封的,根本联系不到人解封,可我的网站明明备案是好的。垃圾垃圾
    evanvane
        4
    evanvane  
       2016-05-28 10:49:20 +08:00 via Android
    这些国内的云带宽都是独享的吗?可以一直跑满?
    greatghoul
        5
    greatghoul  
       2016-05-28 10:52:07 +08:00 via iPhone
    什么时候出赶集云,饿了云, yy 云什么的,觉得可以尝试用一下。
    nlzy
        6
    nlzy  
       2016-05-28 11:04:06 +08:00 via Android
    以前更惨, 1M 的带宽只有 1M 下行
    Patrick95
      &bsp; 7
    Patrick95  
       2016-05-28 11:07:38 +08:00
    @feiyunfirst 是在美团云备的吗,估计接入商变了要重新备。
    mimzy
        8
    mimzy  
       2016-05-28 11:13:58 +08:00 via Android
    firefox12
        9
    firefox12  
       2016-05-28 11:14:16 +08:00 via iPhone
    我觉得没什么 买带宽 5M 然后给你 10M 下行 你还想怎么的?
    lslqtz
        10
    lslqtz  
       2016-05-28 11:47:11 +08:00
    @firefox12 但是 同比其他的云,我有什么理由不用更高带宽的其他云用美团云?就是这样。
    fcicq
        11
    fcicq  
       2016-05-28 11:58:30 +08:00   1
    知道了. 不过卡死是因为楼主没做 QoS. 爬虫的推荐做法是抓取开最便宜的 instance 然后借用内网云存储中转. 再用大实例去跑索引.
    blackboom
        12
    blackboom  
       2016-05-28 14:09:57 +08:00
    腾讯云怎么样?都是好贵啊,跑一个小站流量不大
    MOS
        13
    MOS  
       2016-05-30 10:50:41 +08:00   1
    @xiaocsl 您好,浮动 IP 带宽配置为 1 到 10Mbps 时,入向带宽为 10Mbps ;配置大于 10Mbps 时,入向带宽与配置一致。出向带宽始终与配置一致。 也就是说,带宽选择 1Mbps ,入向带宽也会赠送至 10Mbps 。如果有其他问题请随时与我们客服沟通,谢谢。
    guozixi
        14
    guozixi  
       2016-08-03 21:14:25 +08:00 via Android
    需要大带宽就改成按流量计费
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1271 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 16:54 PVG 00:54 LAX 08:54 JFK 11:54
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86