生产环境 PVE 使用姿势请教

公司里面搞 vmware 替代，打算把所有的测试系统迁移到 PVE 上。
传统制造业，服务器都是联想的 SR 系列，不搞 ceph （运维就我一个人玩不转）计划单机 PVE ，有硬件 RAID 卡不过都是 1G 缓存的，硬盘有 SATA SSD 也有 SAS HDD 。有几个问题请教大家：
1.稳定性与 vSphere 比起来如何？
2.是否推荐用默认的 lvm-thin ，之前没用过 lvm-thin ，有什么坑在里面吗？
3.vm 格式用 raw 还是 qcow2 ？
4.是否有必要买官方支持？
5.如有其他经验或避坑的地方请不吝指出

谢谢！

PVE

迁移

虚拟化

13 replies

my3157

16h 21m ago

不瞎搞稳定性没问题, 不推荐 lvm, 除了系统盘也不要做硬件 raid, 推荐 zfs, 并且各个节点上的存储池名称保持一致, 比如 hdd 的存储池都叫 hdd, 备份,快照,节点迁移都很方便

busier

15h 53m ago via iPhone

lvm-thin 坑就是严防 vg 空间写满

写满的后果是 lv 变成只读上面的所有虚拟机磁盘 lv 都无法回写文件系统缓存落盘

这个如果能控制好或者不介意那么 lvm-thin 是功能、性能、管理各方面平衡最好的。

busier

15h 50m ago via iPhone

如果你 2 用 lvm-thin

那么 3 的问题不存在，虚拟机磁盘就是 lv

如果你硬要用文件系统做底层存储那么肯定用 qcow2 ，因为 raw 无法快照，还要依赖底层文件系统稀疏文件支持才能创建带空洞的磁盘镜像文件

gvdlmjwje

15h 44m ago

@my3157 有几台利旧的机器内存不是很足，才 64G ，用 zfs 的话是不是要吃掉很多内存？

busier

15h 44m ago via iPhone

上面说的写满文件问题只是 lvm-thin 存在，如果用 lvm 没有问题，毕竟空间预分配了

不过也不用太担心其他虚拟机都是有类似情况，其根本原因就是虚拟机磁盘空间总计容量超物理空间可分配值，不占满没事，所以现实也不是每个人都出严重问题

但是生产环境要考虑好

gvdlmjwje

15h 38m ago

@busier 用 lvm-thin 的话，我只要按照给 VM 划的空间来算剩余容量而不是 WEB 界面里显示的存储实际容量来算，那就绝对不会存储超分吧？

busier

15h 34m ago via iPhone

@gvdlmjwje 是这个意思虚拟机磁盘容量总计不要超过 lvm-thin 总容量。即使虚拟机里面写满也没事

简单说不要超额分配虚拟机磁盘

gvdlmjwje

15h 30m ago

div class="reply_content">@busier 感谢老哥！

busier

15h 16m ago via iPhone

@gvdlmjwje 另外假如底层用 zfs 和 btrfs 这类 COW 文件系统我个人不推荐。

应当在虚拟机内使用！

这两个文件系统如果在虚拟机内用，可以处理磁盘位反转错误。找到对应的错误文件。

可是如果在底层用的话，如果位反转了，岂不是整个磁盘镜像文件都视为有错误要修复

而且如果遇到底层和虚拟机内同时使用 zfs btrfs ，那么就会承受双重 COW 磁盘性能惩罚

my3157

15h 5m ago

@gvdlmjwje #4 是, 不过要用也能用, 调整下配置, 限制下 zfs 的内存, 另外就是 64G 的机器, 上古时代的 CPU, 这种机器没有利旧价值了吧, 机架+电费, 还不如换新的

gvdlmjwje

15h 1m ago

@busier ZFS 因为吃内存和 raid 卡需要调 HBA 或者 IT 模式的关系，肯定是不用了。还有你说的双重 ZFS 的问题，公司确实有一台跑 ZFS 的 turenas 虚拟机...

gvdlmjwje

14h 58m ago

@my3157 可以两台并一台，不过 raid 卡还要刷 IT 或者开 HBA 模式，想了下还是算了，就用 lvm-thin 了。

busier

4h 19m ago via iPhone

@gvdlmjwje

提醒下

ESXi 有修复模式即安装盘引导可以修复 ESXi 系统保留虚拟机

而 PVE 没有（当然你熟悉 debian 可以手工修复），所以最好 PVE 系统和重要虚拟机独立硬盘存储池

真要是 PVE 玩崩溃了重装后导入之前的虚拟机磁盘也方便