两块 NVMe 固态, ECC 内存的独立服务器,上 ZFS 存数据可靠性会更高么? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
dfgxcvbcv
V2EX    云计算

两块 NVMe 固态, ECC 内存的独立服务器,上 ZFS 存数据可靠性会更高么?

  •  
  •   dfgxcvbcv 2022-06-20 16:56:56 +08:00 4292 次点击
    这是一个创建于 1281 天前的主题,其中的信息可能已经有所发展或是发生改变。
    因为服务对 CPU 性能的要求越来越高,上了两台 Hetzner 的 AX51-NVMe 来降低成本(配置都是 AMD R7-3700X 家用 CPU 两条三星 32GBECC 内存 两块三星 1TB NVMe 固态),目前两块硬盘是用自带的系统安装脚本组的软 RAID1 。听说用 ZFS 数据可靠性更高,请问 V 友有必要换么?(服务都在 PVE 虚拟机中,数据非常重要,目前已有每天凌晨同步 S3 桶备份,每周全量离线备份)
    15 条回复    2022-08-17 12:58:19 +08:00
    powergx
        1
    powergx  
       2022-06-20 16:58:53 +08:00
    ecc 就可以了,用了十几年 zfs 了
    dfgxcvbcv
        2
    dfgxcvbcv  
    OP
       2022-06-20 17:00:48 +08:00
    @powergx #1 所以我在问有没有必要上 ZFS (没弄过不会太会弄,而且服务已经上线了,有活跃用户不敢乱来)
    geekvcn
        3
    geekvcn  
       2022-06-20 17:09:43 +08:00 via Android
    PVE 内核就支持 ZFS 啊,ZFS 内存缓存策略很激进,会占用更多内存,主要是快照功能好用,安全靠的是 Raid 和定期异地或云备份
    dfgxcvbcv
        4
    dfgxcvbcv  
    OP
       2022-06-20 17:14:38 +08:00
    @geekvcn #3 我服务已经在运行了,有办法在不关 VM (可以短时间休眠)的情况下上 ZFS 么?目前两台服务器内存都有 10GB 没有分配给 VM ,给 ZFS 用不知道够不够。
    dfgxcvbcv
        5
    dfgxcvbcv  
    OP
       2022-06-20 17:16:39 +08:00
    @geekvcn #3 RAID 和异地备份我们都做了,但很难做到实时备份,哪怕只丢 1 分钟数据,如果这 1 分钟用户上传了作品被我们丢了肯定会被用户骂。
    geekvcn
        6
    geekvcn  
       2022-06-20 17:35:25 +08:00 via Android
    @dfgxcvbcv ZFS 一般 1T 存储最好留 1G 内存,越大越好,换 ZFS 只要操作硬盘,不需要关机休眠,前提是你 VM 磁盘镜像不是在你要操作的硬盘上
    mchong
        7
    mchong  
       2022-06-20 17:36:51 +08:00
    你这非常重要的数据还用民用 ssd ?
    dfgxcvbcv
        8
    dfgxcvbcv  
    OP
       2022-06-20 17:38:22 +08:00
    @geekvcn 那内存够,我只有两块 1TB NVMe 。但是宿主机系统和 VM 的磁盘镜像都在这个准备操作的硬盘上。
    dfgxcvbcv
        9
    dfgxcvbcv  
    OP
       2022-06-20 17:39:08 +08:00
    @mchong #7 Hetzner 只有提供这种 SSD ,我换不了
    geekvcn
        10
    geekvcn  
       2022-06-20 17:40:29 +08:00 via Android
    @dfgxcvbcv 我觉得带用户上传的还是用云服务的对象存储吧,就是成本比较高,但可靠性不是自建能比的,毕竟人家资源池大
    geekvcn
        11
    geekvcn  
       2022-06-20 17:42:11 +08:00 via Android
    @dfgxcvbcv 你是为了安全换 ZFS 毫无意义,但是为了 ZFS 的部分特性换才有必要,比如快照,压缩,去重
    mchong
        12
    mchong  
       2022-06-20 17:46:42 +08:00
    @dfgxcvbcv 对不起,是我孤陋寡闻了。原来 Hetzner 是个数据中心服务商。照下面说的直接上 aws 的对象存储吧。那个可靠性更高
    iphoneXr
        13
    iphoneXr  
       2022-06-20 18:11:10 +08:00
    不要用 zfs 针对你的情况我建议你了解下 pve 官网的推出备份软件 pbs ( proxmox-backup-server )
    说几个特性:支持增量备份和重复删除。
    libook
        14
    libook  
       2022-06-20 18:38:36 +08:00
    软 RAID-1 是 RAID 方案,ZFS 是文件系统方案,这俩不是一个维度上的问题;比如 ZFS 也有 RAID-Z0 、RAID-Z1 、RAID-Z2 、RAID-Z3 ,如果你换了 ZFS 却用的是 RAID-Z0 ,那还不如以前的软 RAID-1 可靠。

    我重度使用过 Ext4 和 Btrfs ,ZFS 据我的了解就是提供了一些性能优化和快照之类的实用特性,服务器用的主流文件系统可靠性都差不多,实际上存储可靠性方面文件系统是很低优先级去考虑的,更高优先级是:
    1. 机房所在整个地区电力或网络故障了怎么办;
    2. 整个机房故障了怎么办;
    3. 整台服务器故障了怎么办;
    4. 整块硬盘故障了怎么办。

    前面那些问题解决了之后,基本就解决了 99%的可靠性问题。
    Miy4mori
        15
    Miy4mori  
       2022-08-17 12:58:19 +08:00
    这么重要的服务用 PVE ?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1316 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 33ms UTC 17:18 PVG 01:18 LAX 09:18 JFK 12:18
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86