外接硬盘组合 ZFS，出现 IO failures 报错

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in，那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动，会导致账号被禁用。

这是一个创建于 441 天前的主题，其中的信息可能已经有所发展或是发生改变。

配置如下

N100 迷你主机
优越者四盘位硬盘柜，不带 RAID ，放个三个 2.5 的机械硬盘
一个 Toshiba 的 2.5 机械移动硬盘

我用 Toshiba 和硬盘柜里的两个盘，组了 ZFS (raidz2)，每次开机运行一段时候后，就会报错，如下图

重启整个系统后，又会恢复正常，过一会儿又报错

硬盘都是古董，有不少年头了，每个都用 smartctl 和 badblocks 做过检测，没有报错

不知道是硬盘还是硬盘柜的问题，各位大佬有遇到过吗？

第 1 条附言 2024-07-26 22:21:34 +08:00

补充：硬盘柜和移动硬盘都是通过 USB Hub 连接到迷你主机上

N100 迷你主机（12V3A）

内置一根致钛 TiPlus5000 1TB SSD
一根1分4的 USB Hub（外接 5V2.1A 电源）
- 优越者四盘位硬盘柜，不带 RAID ，放了三个 2.5 的机械硬盘（12V6.5A）
- 一个 BUFFALO 的 2.5 机械移动硬盘（硬盘是 Toshiba）

ZFS

failures

17 条回复 2024-08-11 09:34:19 +08:00

love4taylor

PRO

2024-07-25 22:45:01 +08:00

内核日志里有报错么？ UAS 的毛病？

nznd

2024-07-26 01:10:05 +08:00

迷你主机有 ecc 内存吗，zfs 的数据完整性依赖内存的，有备份完数据后尝试运行 zpool clear 吗

ErikOrtiz

2024-07-26 01:59:01 +08:00 via iPhone

迷你主机，接了这么多移动硬盘，先排查供电问题吧

wevsty

2024-07-26 02:39:37 +08:00

大概率是硬盘柜的问题。
这些硬盘柜基本上都是用 amedia 或者 jmicron 的 USB 转 SATA 芯片，这些芯片本身并不是为了长时间的硬盘读写来设计的，而且 Linux/BDS 上的驱动支持也...，和 ZFS 这种长期需要稳定读写的文件系统搭配在一起就是很容易有毛病的。

wevsty

2024-07-26 02:45:04 +08:00

更正一下：amedia -> asmedia
另外多说一句，为了你的数据安全着想，我个人建议是不要使用任何外接 USB 硬盘柜的方案。

fugu37

2024-07-26 02:52:17 +08:00

硬盘柜的锅。LVM + XFS 也经常在内核日志中看到 IO 错误。

ocleo1

2024-07-26 22:22:35 +08:00

@Love4Taylor USB 突然断开连接，日志如下，没看到导致断开的原因。UAS 是指啥？

https://cestlavie.cool/assets/dmesg.txt

ocleo1

2024-07-26 22:24:02 +08:00

@nznd 没有 ecc 内存。zpool clear 会提示 SUSPENDED 无法执行

ocleo1

2024-07-26 22:25:02 +08:00

@ErikOrtiz 补充了电源参数（如上），硬盘柜自带独立电源，应该不需要主机供电的呀

ocleo1

2024-07-26 22:26:46 +08:00

@wevsty 查了硬盘柜，是 jmicron 方案。那得组个多盘位主机了～

ocleo1

2024-07-26 22:28:15 +08:00

@fugu37 硬盘柜和移动硬盘通过 USB Hub 连接到主机，会不会是 USB Hub 的锅？

[dmesg.txt]( https://cestlavie.cool/assets/dmesg.txt)

love4taylor

PRO

2024-07-26 22:54:48 +08:00

@ocleo1 比如，不过你这个可能不是。另外建议放弃 USB 外置存储，太不稳定了，起码上雷电。

druggo

2024-07-27 01:50:00 +08:00

用奥睿科的 5 盘位 USB 柜好多年了，USB Hub 是真不行（用的不接电的），经常 reset 导致这种情况，后来换了多口 USB 扩展卡就好很多了

Jacksu

2024-07-27 12:04:14 +08:00

@wevsty 请教下大佬，如果是直接作为数据存储不用任何软 raid ，文件系统用 ext4/btrfs ，是不是就没这些问题了，我用硬盘柜来作为 plex 的媒体数据存储和 rsync 定时备份，只有在 rsync 同步（每天一次，每次不超过半小时）和 plex 定期维护（每天半夜执行 2 小时）观影的时候才会有数据读写，最多加一个 samba

dilidilid

2024-07-27 12:56:56 +08:00

@Jacksu 单盘没啥问题的

wevsty

2024-07-27 14:13:22 +08:00

@Jacksu
相对来说这种用法出现问题的概率比较小。

ocleo1

2024-08-11 09:34:19 +08:00

受到各位的启发，现在问题解决了。观察了一个多礼拜，没有出现 USB 断开连接的情况

调整了连线布局。硬盘柜直接插到迷你主机的 USB ；单个移动硬盘都插到 USB Hub 上，再连接迷你主机