Is linode true unbeatable? - V2EX
Linode 各机房速度测试
http://www.linode.com/speedtest/
Tianpu

Is linode true unbeatable?

  •  
  •   Tianpu Mar 10, 2013 2067 views
    This topic created in 4816 days ago, the information mentioned may be changed or developed.
    我开始测试一个数据抓取的东西,不是什么不合法或者不合理的,只是不想数据源知道我的源IP,然后看到linode 2T的带宽,用它建了个gate

    本质上是个代理,进出流量是对等的

    每分钟大约抓取150个页面,每个页面大约50K,由于不想改原先的东西,所有抓取都没有使用gzip

    现在放上去一半了 进入带宽平均800K/s 最大3.6M


    不知道会不会封我呀
    11 replies    1970-01-01 08:00:00 +08:00
    webflier
        1
    webflier  
       Mar 10, 2013 via Android
    从你的需求来看,digitalocean更适合你,比linode便宜老用户流量不限,新用户每月1t
    Tianpu
        2
    Tianpu  
    OP
       Mar 10, 2013
    @webflier 不用啊 本来我是想买几个$5的VPS跑的 LINODE很快啊

    这会平均带宽有2M了 今天用3G流量了

    过几天我继续反馈
    webflier
        3
    webflier  
       Mar 10, 2013
    @Tianpu digitalocean 估计没有linode大气,流量突然变大有可能会限你速.但是DO是真心便宜,才5刀,linode最便宜得20刀呢
    Tianpu
        4
    Tianpu  
    OP
       Mar 12, 2013
    @webflier 到现在用了30多G流量了 还没全跑 在观察参数

    流量肯定顶不住 我估计需要6T左右

    待会得加上gzip了
    Livid
        5
    Livid  
    MOD
    PRO
       Mar 12, 2013
    iWeekly 的后台服务器最初跑在 Linode 上的时候,差不多 30M/s,那个时候几乎每个月都会超流量。在没有攻击的情况下,Linode 是可以用的。
    siw
        6
    siw  
       Mar 12, 2013
    @Tianpu
    请问, 对方不知道你的IP 但知道Linode IP
    而Linode知道你的
    这~ 分散风险吗?
    Tianpu
        7
    Tianpu  
    OP
       Mar 12, 2013
    @webflier @siw 搜索蜘蛛抓页面 无所谓啦 我user-agent都用bing的 抓取器终于支持gzip了 只考虑了chunked gzip 还有什么都没有的情况 暂时都能正常出人类可见文本

    <code>
    <?php
    function dechunked($str){
    $r = $t = '';
    $t = $str;
    while(trim($t)){
    if(!preg_match('/^([\da-fA-F]+)[^\r\n]*\r\n/sm',$t,$m)) die('seem to be a chunked message');
    $l = hexdec(trim($m[1]));
    $c = strlen($m[0]);
    $r.= substr($t,$c,$l);
    $t = substr($t,$c+$l+2);
    }
    return $r;
    }
    function open($url){
    $body = $head = $resp = '';
    $temp = $temq = array();
    $temp = parse_url($url);
    $host = $temp['host'];
    $file = $temp['path'];
    if($temp['query']!='') $file = $file.'?'.$temp['query'];
    $fp = fsockopen($host, 80, $errno, $errstr, 15);
    if(!$fp) die('{gate_closed}');
    else{
    $head.= "GET $file HTTP/1.1\r\n";
    $head.= "Host: $host\r\n";
    $head.= "User-Agent: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)\r\n";
    $head.= "Referer: $url\r\n";
    $head.= "Accept-Encoding: gzip,deflate\r\n";
    $head.= "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8\r\n";
    $head.= "Connection: Close\r\n\r\n";
    fwrite($fp, $head);
    while(!feof($fp)){
    $resp.= fgets($fp,4096);
    }
    fclose($fp);
    }
    if(empty($resp)) die('{gate_closed}');
    $temq = explode("\r\n\r\n",$resp,2);
    print_r($head);
    print_r($temq[0]);
    if(stristr($temq[0],'Transfer-Encoding: chunked')) $temq[1] = dechunked($temq[1]);
    if(stristr($temq[0],'Content-Encoding: gzip')){
    $body = gzinflate(substr($temq[1],10));
    }
    else $body = $temq[1];
    return $body;
    }
    if(!empty($_GET['url'])) echo open($_GET['url']);
    ?>
    </code>
    Tianpu
        8
    Tianpu  
    OP
       Mar 12, 2013
    @Livid 嗯 我的稳定跑到了10M 看流量是不够用 所以造了上面一楼的全部压缩传输吧
    Livid
        9
    Livid  
    MOD
    PRO
       Mar 12, 2013
    @Tianpu 如果你是抓别人的数据,那么理论上来说,主要是流入数据吧?

    流入数据在 Linode 是免费的。
    Tianpu
        10
    Tianpu  
    OP
       Mar 12, 2013
    @Livid 我把它当中转的代理使了 流入流出是对等的
    webflier
        11
    webflier  
       Mar 12, 2013
    @Tianpu 大家都喜欢把useragent设成bing哈,我的wordpress站老被试图暴库,useragent就是bing,哈哈
    About     Help     Advertise     Blog     API     FAQ     Solana     5510 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 43ms UTC 08:07 PVG 16:07 LAX 01:07 JFK 04:07
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86