主要用于虚拟化的装机求各位指导 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MakeItGreat
V2EX    硬件

主要用于虚拟化的装机求各位指导

  •  
  •   MakeItGreat 2021-10-16 09:23:47 +08:00 via Android 6528 次点击
    这是一个创建于 1456 天前的主题,其中的信息可能已经有所发展或是发生改变。
    用途虚拟化 /主力机
    :4 到 16 个虚拟机
    AMD 5950x
    技嘉雪雕 B500M AORUS PRO AX
    金士顿 32 DDR4 3600MHZ *4
    长城 X7 金牌 750w
    三星 980 pro 500G *1
    三星 970 evo 2T *1
    九州风神 240 堡垒标准版
    酷冷至尊 MasterBox Q500L 白色
    26 条回复    2022-01-12 14:16:37 +08:00
    feather12315
        1
    feather12315  
       2021-10-16 10:08:34 +08:00 via Android
    虚拟化建议 Intel,AMD 主板做 passthrough 会有很多奇怪的问题
    teliang
        2
    teliang  
       2021-10-16 10:22:34 +08:00 via iPhone
    5950x 没有核显吧,好奇不用亮机卡也可以装系统吗?
    kgdb00
        3
    kgdb00  
       2021-10-16 11:27:48 +08:00 via Android
    @feather12315 我的主力机就是 5600x + b
    550 + 双显卡,之前搞 gpu 直通确实遇到一个很坑的问题折腾了很久才解决,就是给 linux 虚拟机直通会遇到各种报错,每次启动服务器后都要先用显卡直通的方式启动一次 win10,然后关闭 win10 再启动 linux 就可以稳定使用,但这个看起来可能是 linux 的 amdgpu 显卡驱动的问题,其他的还好,我主要使用的桌面就是 linux 虚拟机,因为 qcow2 的内部快照非常方便,不怕折腾出问题。

    我觉得 intel cpu 做直通最明显的好处就是带核显,其他还有什么好处我也猜不出来,不过看内核代码 vmx 的嵌套虚拟化代码是比 svm 多很多的,也不知道 intel 的嵌套虚拟化性能会不会比 amd 要强一些。
    lin0kin
        4
    lin0kin  
       2021-10-16 11:28:49 +08:00
    要不要等一下 12 代 Intel? 爆料还是很强悍的
    feather12315
        5
    feather12315  
       2021-10-16 11:59:16 +08:00 via Android
    @kgdb00 #3 Intel 的 iGPU 是实现了 SR-IOV 的,原生支持显卡虚拟化,AMD 不是。
    消费级的主板与服务器级的,差就差在它的 PCIe lane 划分得极其怪异,几乎除了直连 CPU 的 x16 的 PCIe + x4 的 m2 外,其他的都做不到 passthrough 。

    嵌套虚拟化的性能不知,但当前 release 版本的 Windows 还是不支持 AMD 的嵌套虚拟化
    br00k
        6
    br00k  
       2021-10-16 12:09:11 +08:00 via iPhone
    搞虚拟化放家里的话就应该直接买个塔式服务器准系统。内存也便宜。
    kgdb00
        7
    kgdb00  
       2021-10-16 12:34:19 +08:00 via Android/span>   1
    我买了华硕的 b550 重炮手和微星 b550 迫击炮,除了直连 cpu 的 x16 和 m.2 之外,都可以再直通一个 usb3.0 控制器,我主力机用的是华硕的,因为给虚拟机用的 3.0 控制器对应的是 4 个
    kgdb00
        8
    kgdb00  
       2021-10-16 12:44:05 +08:00 via Android   1
    我买了华硕的 b550 重炮手和微星 b550 迫击炮,除了直连 cpu 的 x16 和 m.2 之外,都可以再直通一个 usb3.0 控制器。

    我主力机用的是华硕的,因为给虚拟机用的 3.0 控制器对应的是 4 个并排的 3.0 口,剩余的二个 2.0 口和两个 usb3.2 gen2 的口还是主机用,而微星的就比较坑了,usb3.0 控制器直通给虚拟机后,主机要想用 3.0 口就只能用机箱前置的口了,而且微星的如果插满 2 个 m.2,第二个 x16 插槽就用不了了。

    reddit 论坛上有些帖子说 x570 主板有更良好的 iommu 分组,不过华硕重炮手目前已经基本满足我需求了,。
    kgdb00
        9
    kgdb00  
       2021-10-16 12:50:04 +08:00 via Android   1
    @feather12315 如果能把主板自带的 ax 200 无线网卡和 2.5G 网口都直通给 windows 虚拟机就好了,因为 linux 上想拿 ax200 做一个 ap 比较麻烦,也不稳定,而螃蟹的 rtl8125b 网卡的默认驱动 r8169 在高版本内核上上有严重 bug,会直接导致内核崩掉。
    feather12315
        10
    feather12315  
       2021-10-16 13:17:58 +08:00 via Android
    @kgdb00 #8 我用的是微星 B550M 迫击炮,印象中 CPU 直连的 USB3.0 控制器与 iGPU 属于同一个 iommu group,不打入 acs patch 无法直通。其他的 USB 3.0 控制器走 PCH,与 SATA 控制器好像在同一个 iommu group 。总之,印象中我没直通成功过。


    @kgdb00 #9 这个不确定性很大,严重依赖主板的 PCIe lane 分配情况。
    bpf2049
        11
    bpf2049  
       2021-10-16 18:07:40 +08:00   1
    amd 3600+ 阿斯加特 3000 共 64G,ESXi 6.7 升级到 7.0,跑了一整年了,没啥问题。如果装 ESXi,注意网卡芯片组是否受支持
    adadada
        12
    adadada  
       2021-10-16 19:40:34 +08:00
    @feather12315 #5 Intel GVT-g 不是 SRIOV,还是通过软件辅助在多个 VM 之间实现 GPU 资源复用
    adadada
        13
    adadada  
       2021-10-16 19:44:52 +08:00
    @kgdb00 #3 KVM 里 intel nvmx 主要是有几个大公司 (比如 Google) 在生产环境使用,所以不断在贡献代码; AMD 之前在服务器市场萎靡这么多年,正常的 L1 部分都没怎么维护,更别提嵌套虚拟化了,不过现在已经在逐渐补齐了。
    feather12315
        14
    feather12315  
       2021-10-16 20:07:19 +08:00 via Android
    @adadada #12 是的,lspci 看看 iGPU 的 capability,上面写的是 SR-IOV
    pydiff
        15
    pydiff  
       2021-10-16 20:35:16 +08:00 via iPhone
    我是 3900×+b550+128g 内存,跑 k8s 学习,跟 win10 开发,esxi7,目前跑了 14 个虚拟机,体验挺好的。win10 直通了 rx460 跟 nvme 硬盘,网卡是惠普的拆机 350t4,之前买的时候才 110,现在想买却要 200 多,后悔没多买一块
    pydiff
        16
    pydiff  
       2021-10-16 20:38:56 +08:00 via iPhone
    @teliang
    @feather12315 我的 b550 直通 usb3.0 会导致重启后 esxi7 无法启动,试了百度上的各种方法依然没用,后来就放弃了
    SilencerL
        17
    SilencerL  
       2021-10-20 01:34:48 +08:00
    试试 PVE,我把退役下来的 3700x 搞了台 ALL IN ONE,没遇到坑且用起来很不错!
    sidkang
        18
    sidkang  
       2021-10-20 01:53:30 +08:00
    5950X+X570 太极+PVE 没遇到什么 AMD 才有的问题,用着很满意~
    fhbyljj
        19
    fhbyljj  
       2021-10-20 02:26:08 +08:00 via Android
    AMD 直通很简单吧

    现在我就只有 Intel GPU 虚拟化卡住了
    Dragonish3600
        20
    Dragonish3600  
       2021-10-20 10:02:09 +08:00 via iPhone
    @feather12315 扯淡呢
    看看现在 dell hp 的虚拟化服务器,基本都是主推 amd 了
    Hansah
        21
    Hansah  
       2021-10-20 10:24:50 +08:00
    建议上 X570,接口和通道都多多了
    feather12315
        22
    feather12315  
       2021-10-20 12:26:23 +08:00 via Android
    @ladypxy #20 我说的消费级主板
    caicaiwoshishui
        23
    caicaiwoshishui  
       2021-10-20 12:40:54 +08:00 via iPhone
    @pydiff esxi 不能直通核显信号输出,真蛋疼
    HamGuy
        24
    HamGuy  
       2022-01-11 17:31:04 +08:00
    @kgdb00 打扰了,挖个坟,请问 exsi 的网卡驱动怎么搞定的?我的是 B550M 重炮手,安装 esxi 7.x 的时候,提示找不到网卡
    kgdb00
        25
    kgdb00  
       2022-01-12 00:34:38 +08:00 via Android
    @HamGuy 我都不用 exsi
    HamGuy
        26
    HamGuy  
       2022-01-12 14:16:37 +08:00
    @kgdb00 ,那打扰了
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5169 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 42ms UTC 09:32 PVG 17:32 LAX 02:32 JFK 05:32
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86