请教下国内现在用 hadoop 的公司 是用云端的 hadoop(例如微软的 HDInsight AWSEMR)还是自己购置机器搭集群? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
arachide
V2EX    Hadoop

请教下国内现在用 hadoop 的公司 是用云端的 hadoop(例如微软的 HDInsight AWSEMR)还是自己购置机器搭集群?

  •  
  •   arachide 2015-02-16 08:12:22 +08:00 5372 次点击
    这是一个创建于 3902 天前的主题,其中的信息可能已经有所发展或是发生改变。

    请教下国内现在用hadoop的公司 是用云端的hadoop(例如微软的HDInsight AWSEMR)还是自己购置机器搭集群?

    16 条回复    2015-02-16 11:56:46 +08:00
    FeiMa
        1
    FeiMa  
       2015-02-16 08:31:04 +08:00
    自己购置机器。
    arachide
        2
    arachide  
    OP
       2015-02-16 08:37:55 +08:00
    @FeiMa 自建机房还是托管啊
    9hills
        3
    9hills  
       2015-02-16 09:08:22 +08:00 via iPhone
    @arachide 机房不是随随便便自建的,有能力自建机房的互联网公司(不包含idc公司)也就个位数。真正自建的很少…我只知道baidu和tencent有纯自建的机房
    arachide
        4
    arachide  
    OP
       2015-02-16 09:16:42 +08:00
    @9hills 你的意思是说大部分是自己购置机器然后托管到idc
    darkjune
        5
    darkjune  
       2015-02-16 09:57:19 +08:00
    @arachide 买云服务的虚拟机就好了,也不需要自己买机器托管吧
    scys
        6
    scys  
       2015-02-16 09:58:29 +08:00 via Android
    简单机房成本不贵…可是能管机房的难找
    tabris17
        7
    tabris17  
       2015-02-16 10:11:53 +08:00
    窝司小公司但也有自建机房(就在公司里
    arachide
        8
    arachide  
    OP
       2015-02-16 10:15:58 +08:00
    @tabris17 那每天传送10tb数据估计得专线吧
    cye3s
        9
    cye3s  
       2015-02-16 11:02:55 +08:00 via Android
    电信自己买机器
    shenyi26
        10
    shenyi26  
       2015-02-16 11:03:53 +08:00
    百度阿里应该都是在用自己的hadoop定制版,IDC应该是自己搞得。现在有个叫星环的提供hadoop定制服务,可以看看。之前intel hadoop部门自己出来创业的
    9hills
        11
    9hills  
       2015-02-16 11:17:16 +08:00
    @arachide 托管--->共建--->自建

    自建机房成本几十亿正常,这个不是谁都掏得起的。一般都是托管,有特殊需求了走共建。国内TOP的互联网公司,绝大部分IDC都是托管或共建

    当然你随便找个房子扔进去服务器也算自建机房当我没说。。。
    9hills
        12
    9hills  
       2015-02-16 11:21:06 +08:00
    另外阿里财大气粗,貌似以托管为主,互联网公司选择自建都是为了省钱和发展需要,因为机房的机架位第一贵,第二交付不受控制

    有什么比业务蒸蒸日上,但是机房机架位已满还要悲剧的么,苦逼的OP就又要开始搬迁了。。
    arachide
        13
    arachide  
    OP
       2015-02-16 11:52:17 +08:00
    @shenyi26 偶大意思是hadoop流量出入很大
    方案
    1.用aws azure 最好用它的hadoop云
    2.服务器托管用aws azure hadoop云也成(azure aws数据流入不收费的)
    3.全自己搞服务器 不划算 可能每天hadoop运算才几小时
    arachide
        14
    arachide  
    OP
       2015-02-16 11:53:10 +08:00
    偶说的都是生产环境的hadoop
    测试的其实树莓都够 哈哈
    scys
        15
    scys  
       2015-02-16 11:54:00 +08:00 via Android
    感觉 @9hills 好像躺枪了~
    建机房是每个发网络商的必要,大小贵丑。
    wilsoncao
        16
    wilsoncao  
       2015-02-16 11:56:46 +08:00
    AWS EMR
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3687 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 00:50 PVG 08:50 LAX 17:50 JFK 20:50
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86