大家好,现在有一台 NAS 配置了万兆,128G 内存,16 核 CPU ,16TBx9 RAIDZ3 zfs ,安装了 truenas 。另外有 2TB nvme 的硬盘目前没有使用。想问请问下是否有较好的冷热数据 smb 无感访问的方案?
目前大概情况如下,一天可能会处理上百 G 的数据,中间需要频繁进行数十 G 的大文件和数万个小文件读写,数据逻辑结构清晰,每个数据一个文件夹就可以,目前使用 smb 挂载 ZFS 的机械盘分区发现性能较弱,大文件往往只能跑到 500-600M/s ,小文件 80-100M/s 。希望使用上 NVME 硬盘达到性能优化。
主要想法:每日数据在 NVME 硬盘进行处理,下班后等空闲时同步一份到机械盘,NVME 盘空间不足一定量后进行释放。但是希望能无感在 SMB 中访问,不要用户手动拷来拷去。就是访问时 NVME 盘中有文件夹的就用 NVME 的,没有文件夹的直接读机械的,不需要对机械进行读 cache 类操作。
目前了解上 ZFS 的技术 ARC,L2ARC,ZIL 等似乎都和需求不是特别匹配,也欢迎大佬给出建议。
目前大概情况如下,一天可能会处理上百 G 的数据,中间需要频繁进行数十 G 的大文件和数万个小文件读写,数据逻辑结构清晰,每个数据一个文件夹就可以,目前使用 smb 挂载 ZFS 的机械盘分区发现性能较弱,大文件往往只能跑到 500-600M/s ,小文件 80-100M/s 。希望使用上 NVME 硬盘达到性能优化。
主要想法:每日数据在 NVME 硬盘进行处理,下班后等空闲时同步一份到机械盘,NVME 盘空间不足一定量后进行释放。但是希望能无感在 SMB 中访问,不要用户手动拷来拷去。就是访问时 NVME 盘中有文件夹的就用 NVME 的,没有文件夹的直接读机械的,不需要对机械进行读 cache 类操作。
目前了解上 ZFS 的技术 ARC,L2ARC,ZIL 等似乎都和需求不是特别匹配,也欢迎大佬给出建议。
