集思广益:对于搭建小型 OpenStack 平台,如何采购服务器 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
zrp1994
V2EX    服务器

集思广益:对于搭建小型 OpenStack 平台,如何采购服务器

  •  
  •   zrp1994 2019-07-31 08:33:56 +08:00 7128 次点击
    这是一个创建于 2271 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前学院有 10 万美元用于采购服务器,计划搭建 OpenStack 平台供学院的师生科研和实验使用。因为本人对专业服务器不太了解,所以向各位咨询一下服务器配置的选择以及架构的可行性。

    架构方面,目前计划一台服务器作为控制服务器用于一系列基础服务(Keystore, Horizon, Glance,有可能再加上 Heat),一台或者两台分别用于块存储和对象存储 (Cinder, Swift,如果一台服务器不可以同时安装这两个服务的话就上两台),一台用于网络服务 (Neutron),若干台用于计算服务 (Nova)。目标用户大概包括 10~20 个老师和 100 以内的学生。每个用户单个 instance 的配置并不高,主要在于做实验的时候可能用到的 instance 数量较多。

    针对上述架构的话,我认为网络服务器和计算服务器的瓶颈在于 CPU、内存和网络,存储服务器的瓶颈在于硬盘和网络。然后计划采购戴尔的 PowerEdge 系列的 Rack Server,不知道针对上述架构在配置的选择上大佬们有没有什么建议。当然如果有更好的选择的话,品牌也可以不限于戴尔。另外大家也可以分享一下自己搭建 OpenStack 平台的架构。谢谢大家的帮助!

    第 1 条附言    2019-08-06 11:12:16 +08:00

    感谢各位的回复。以下是最终和老师商议后暂定的方案,希望对其他人有所帮助:

    pfSense Firewall Dell PowerEdge R740 Rack Server CPU: 2x Intel Xeon Gold 5217 3.0G 8C/16T RAM: 64G RDIMM 2933MT/s Hard drive: 2x 600GB 10K RPM SAS with RAID 1 Network: Intel X520 Dual Port 10GbE SFP+ & i350 Dual Port 1GbE BASE-T Price: $6600

    OpenStack Controller (Keystone, Horizon, Glance, Swift, Cinder, Nova Server, etc) Dell PowerEdge R740 Rack Server CPU: 2x Intel Xeon Gold 5218 2.3G 16C/32T RAM: 128G RDIMM 2933MT/s Hard drive: 2x 600GB 10K RPM SAS with RAID 1 Network: Intel X520 Dual Port 10GbE SFP+ & i350 Dual Port 1GbE BASE-T Price: $7400

    OpenStack Network (Neutron) 同pfSense Firewall

    Distributed Storage Dell PowerEdge R740 Rack Server CPU: 2x Intel Xeon Silver 4216 2.1G 16C/32T RAM: 64G RDIMM 2933MT/s Hard drive: 2x 300GB 15K RPM SAS with RAID 1 & 8x 2.4T 10 RPM SAS with RAID 5 Network: Intel X520 Dual Port 10GbE SFP+ & i350 Dual Port 1GbE BASE-T Price: $12000

    2x OpenStack Compute (Nova) Dell PowerEdge R840 Rack Server CPU: 4x Intel Xeon Gold 5218 2.3G 16C/32T RAM: 512G LRDIMM 2666MT/s Hard drive: 2x 600GB 10K RPM SAS with RAID 1 Network: Intel X520 Dual Port 10GbE SFP+ & i350 Dual Port 1GbE BASE-T Price: 2x $24000

    $100k经费的话,这样选配下来还剩$20k左右,还可以再选购10Gbps的交换机等等。目前考虑到初期内部测试使用,暂不对外开放,就没有对Controller部分没有做HA。这套选配可能还存在着种种问题,欢迎大家的意见与建议。

    14 条回复    2019-09-27 07:44:13 +08:00
    uleh
        1
    uleh  
       2019-07-31 08:49:57 +08:00   1
    一个 instance 按 4G ram + 50G hd 来算,120 个 Instance 就是 480G 内存 + 6T 硬盘
    品牌选戴尔、联想都可以,配置用 2U + 128GRAM,买 6 台组成 2 控+4 算 的集群
    一台 1 万多刀,一共估计在 8w 刀之内,剩下钱买硬盘、光纤卡、交换机
    uleh
        2
    uleh  
       2019-07-31 08:51:10 +08:00   1
    如果对数据可靠性有要求就不加硬盘,增一台存储服务器
    swulling
        3
    swulling  
       2019-07-31 09:13:26 +08:00 via iPhone   1
    两个控制节点,其他计算节点。虽然集群小,也要最起码有个主从…

    如果钱不多,控制节点也可以跑计算
    swulling
        4
    swulling  
       2019-07-31 09:14:57 +08:00 via iPhone   1
    存储和计算混部
    littlewey
        5
    littlewey  
       2019-07-31 09:20:09 +08:00 via iPhone   1
    可以试试用 airship 来部署
    quickma
        6
    quickma  
       2019-07-31 09:29:24 +08:00   1
    搭建 OpenStack 有太多坑了,我不是很喜欢这个方案哈哈哈哈哈

    主从我觉得可以不用,一般来说内存是最缺的,CPU 可以超并且影响不大,网络也还好,专业交换机上了也没有瓶颈。
    zrp1994
        7
    zrp1994  
    OP
       2019-07-31 09:31:17 +08:00
    @uleh
    @swulling
    请问两控是指一个 Network Controller 另一个是其他 Controller services 么?还是两个同样的 controller 做 high availability ?
    zrp1994
        8
    zrp1994  
    OP
       2019-07-31 09:34:00 +08:00
    @x7395759 因为之前在现有服务器上搭过 OpenStack 并且 Research 与 OpenStack 相关所以选用了 OpenStack。正如你所说的,OpenStack 坑太多,而且如果不深入优化的话性能不是很好。请问除了 OpenStack 有没有其他的平台建议?
    quickma
        9
    quickma  
       2019-07-31 09:40:44 +08:00   1
    @zrp1994 之前我司也自建了 OpenStack,后来搭建了 k8s+docker。个人感觉后者利用率是高一些,不过和 OpenStack 还是有很大的区别,如果要私有云的话好像是没有别的方案了。

    也许科研学习实验用途对性能要求没有那么高也无所谓,主要还是看用途。
    swulling
        10
    swulling  
       2019-07-31 10:01:50 +08:00 via iPhone   1
    @zrp1994 做 HA,控制节点你这么小规模没啥资源需求的
    uleh
        11
    uleh  
       2019-08-06 10:43:38 +08:00   1
    @zrp1994 做 HA 就行了
    如果主要需求是提供虚拟机给学生 /老师用,其实用 proxmox 或者 oVirt 搭建集群更方便。。
    httplife
        12
    httplife  
       2019-08-08 13:59:25 +08:00   1
    pfSense Firewall 这个应该可以省去, 加个好点的 Layer 7 Juniper / Cisco 交换机(就是需要额外学一下怎么用 Junos OS/Cisco)
    Dell 本身 software raid 不怎样, 用硬件 RAID,SSD 代替 SAS .

    如果愿意折腾, 建议用 SuperMicro, 可以搭配更好点配置. 省下的钱还可以买备件
    p200635
        13
    p200635  
       2019-09-27 07:39:33 +08:00 via Android
    虚拟化 上 dell 这个方向没错。 但是为什么要上 OpenStack 而不是 ovirt 我司就是全套 VMware 爽到极限
    p200635
        14
    p200635  
       2019-09-27 07:44:13 +08:00 via Android
    从构架分析 你需要超融合方案 成熟的商用有 VMware nitanix 其他的不推荐 计算和存储是要分离的 网络是要支持软件定义的 还需要自动化运维 或者是桌面云 基本上数下来的话 直接找开源的话 ovirt 或者 pve 是最好的 也可以直接上 nutanix 的一体机 也是便宜还带有成熟的解决方案
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     960 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 19:11 PVG 03:11 LAX 12:11 JFK 15:11
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86