Homelab 的类 shared-disk 设计是否合理呢? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
HOMO114514
V2EX    NAS

Homelab 的类 shared-disk 设计是否合理呢?

  •  
  •   HOMO114514 2024-06-07 10:46:04 +08:00 1666 次点击
    这是一个创建于 496 天前的主题,其中的信息可能已经有所发展或是发生改变。

    正在设计更新家中的小机房架构。初步计划有以下机器:

    • 一台极其强大的 NAS ,通过 ZFS 做 3 层融合加速存储,预计总容量 60TiB ,并且还有 3.84TiB 的 Raid1 纯闪池
    • 一台 EPYC 服务器,用来承载多数 Docker 业务,以及一些 AI 应用
    • 一台媒体服务器,只用来跑 Jellyfin ,通过 NFS 连接 NAS 的存储池获取媒体内容
    • 一台跳板机

    所有设备通过 10G Fiber 互联,部分设备可以 bond 成 20G ,除了跳板机使用 Windows ,NAS 使用厂商系统,其他机器均使用 Ubuntu 。

    我使用的绝大多数 Docker 应用都是来自或者基于 Linuxserver ,他们把所有的用户数据都封装到了/config 下,非常好管理,目前业务都跑在一台比较落后的 NAS 上 All-in-One ,因此设想的是后续将存储和计算分离开来。

    现有两种模式:

    1. 所有 docker 容器的 AppData 都存放在 NAS 的纯闪池中,把/config 映射到 NAS ,EPYC 和媒体服务器通过挂载 iSCSI 的方式进行访问,类 shared-disk 架构。优点是便于管理,代价是交换机或者 NAS 一炸所有东西都会挂

    2. 服务器自身配备适当的 1-2TBSSD ,相关的 AppData 访问本地硬盘,通过 NAS 提供的同步工具定期备份到存储池中,NAS 仅作备份和快照,代价是要多花千把来块买 SSD 并且管理繁琐,并且不抗单点故障

    是否有类似的存算分离模式实践过?这两种模式的区别在于,如果核心数据都存储在远端网络的话,跨网通信带来的 IO 延迟对应用的运行性能究竟有多大的影响?

    4 条回复    2024-06-08 07:55:39 +08:00
    wheat0r
        1
    wheat0r  
       2024-06-07 11:01:14 +08:00
    想结合两种模式,那就整一套超融合吧
    ruidoBlanco
        2
    ruidoBlanco  
       2024-06-07 11:05:29 +08:00
    如果在乎数据,异地备份是不可少的。

    我没有 NAS ,整个 homelab 也只有一台 NUC ,但是一样稳稳的,大体是这么个样子

    - 一块 5 年的 2.5 寸 4T 叠瓦 SATA 盘,用来放低价值数据,电影,剧集,测试虚拟机的硬盘,上面一块 2T 的垃圾 m2 sata ,组了 lvmcache 提速,也不在乎坏了。
    - 1T 的 m2 nvme ,除了做 proxmox 的系统盘,也做了几个稍微重要的 lxc 和虚机的系统盘,也是 docker 容器的数据盘。
    - kopia 定时备份所有重要的文件到 backblaze ,这样救了我几次了。所谓重要的文件,无非是 150G 的照片,20G 左右的数据,其他的低价值大文件完全不备份。backblaze 每个月花费不超过 2 美元。

    一般看片也就最多看 1080p ,感觉 4k 也能得动,但是感觉没啥必要。
    pota
        3
    pota  
       2024-06-07 14:02:36 +08:00
    方案 2 吧。方案一优点很明显但是缺点更恐怖,太依赖 nas 以及网络环境了。相当于变相的 aio?
    我现在方案就是 2 ,不过配置没有你这么高就是了,存储计算完全分离。定期备份到 nas 中
    ltkun
        4
    ltkun  
       2024-06-08 07:55:39 +08:00 via Android
    aio 能 raid1 的全 raid1 了 除了下载盘
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3556 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 10:27 PVG 18:27 LAX 03:27 JFK 06:27
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86