这是一个创建于 1771 天前的主题，其中的信息可能已经有所发展或是发生改变。
这几年从 N54L 、各种四盘、六盘位黑白群晖一路折腾下来，想一步到位搞个 All-in-One 家用服务器退烧。主要的需求还是个加强版的 NAS，即冗余备份、PT 、实时转码媒体中心、TimeMachine 、硬件直通虚拟化这些。初步看上了 Dell T440，不知道这玩意儿家用有没有什么坑？譬如风扇噪音之类的
第 1 条附言 2020-12-29 19:08:15 +08:00
后面重新想了下需求，感觉 All-in-One 下会有单点故障导致所有数据完蛋的可能性，因此把这台服务器的角色重定位为：
- 重要数据的第二份备份（算是热备吗hhhhhh）：家里的 time machine 和相册还是先直接备份到有完善软件支持的白群晖，之后在服务器的 NAS 虚拟机上用 cron 定期执行 rsync 任务拉取备份选定的数据。影音娱乐/下载等任务还是交由白群晖；
- 个人的 Linux GPU 工作站：实在不想在游戏 PC 上装双系统（因为用了 BitLocker），因此需要有一个多核高频+NVIDIA GPU 直通的虚拟机作为自己的工作站。
考虑上述需求和坛友们的建议，最后还是决定自己 DIY 一台，配置是 FractalDesign R6 + 永擎 EPC621D8A + Xeon W-3245 + 32G ECC * 6 + 若干块西数 8T 企业盘。因为担心民用塔式散热器和服务器主板的匹配问题，用了卖家推荐的雅浚 C5PN 散热器。
目前机器上跑着的 VMs:
- TrueNAS core 用作重要数据的冗余备份，直通挂在了所有 HDD 的 SATA 控制器，虚拟机能够拿到硬盘的 SMART 信息；
- 因为用了主频足够高的工作站 CPU ，可以把剩下的十多个核心通给一台 Ubuntu 虚拟机做个人 Linux workstation，再直通了一块 2080，写写 CUDA 炼炼小丹还是美滋滋的。
目前正在用 rsync 从家里的影音 NAS （白群晖）往 TrueNAS 上拷数据。不得不说这套方案是真的安静，硬盘 + 风扇噪音比用西数 4T 红盘的 DS1618 还小很多。另外一个点是，D8A 主板说明书上标注的四口网卡型号是 Marvell 88E1543，但是拿到的这块 rev. 1.02 使用的却是 Intel X722 网卡，不论是直通后各个系统的兼容性还是直接连接 PVE Bridge 的性能都要好很多。算是一个小惊喜了。
这套方案给有类似需求的坛友参考，祝大家玩得开心。
 | 1 nevin47 2020-12-04 17:39:10 +08:00 风扇噪音就是一个非常 Real 的问题 服务器风扇的噪音是高频啸叫，分贝还超级大，家用的话，一般要考虑放在地下室 |
 | 2 locoz 2020-12-04 17:49:58 +08:00 via Android 没必要，自己组一套的价格比品牌服务器低很多，而且你也可以上猫头鹰风扇，放客厅基本就听不到声音了。 |
 | 3 Mithril 2020-12-04 17:53:01 +08:00 这东西耗电量相当的高。。。但是噪音倒是不大，这种塔式的噪音没有刀片大。 |
 | 4 chinesestudio 2020-12-04 17:53:21 +08:00 via Android 钱足够 看看 truenas 硬件。钱不够 自己台式机就可以玩 8 盘位。 |
 | 5 rainfd 2020-12-04 17:55:23 +08:00 真没必要，首先这个东西就没啥性价比，不如自己组装一套消费级的 |
 | 6 lshero 2020-12-04 18:00:44 +08:00 |
 | 7 MeteorCat 2020-12-04 18:24:59 +08:00 via Android 买硬盘要买 sas 认证硬盘，普通硬盘服务器没办法识别温度，直接风扇被设置开到最大散热才会出现散热啸叫 |
 | 8 yituoxiang 2020-12-04 18:27:13 +08:00 60 斤的玩意啊。。。 |
 | 9 CrazyRundong OP @nevin47 @locoz @Mithril @chinesestudio @rainfd @lshero @MeteorCat @yituoxiang 谢谢楼上各位。最后还是决定自己 DIY 一台，配置是 FractalDesign R6 + 永擎 EPC621D8A + Xeon W-3245 + 32G ECC * 6 + 若干块西数 8T 企业盘。因为担心民用塔式散热器和服务器主板的匹配问题，用了卖家推荐的雅浚 C5PN 散热器。 目前机器上跑着的 VMs: - TrueNAS core 用作重要数据的冗余备份，直通挂在了所有 HDD 的 SATA 控制器，虚拟机能够拿到硬盘的 SMART 信息； - 用工作站 CPU 还有另一个考虑，就是可以把剩下的十多个核心通给一台 Ubuntu 虚拟机做个人 Linux workstation，再直通了一块 2080，写写 CUDA 炼炼小丹还是美滋滋的。 目前正在用 rsync 从家里的影音 NAS （白群晖）往 TrueNAS 上拷数据。不得不说这套方案是真的安静，硬盘+风扇噪音比用西数 4T 红盘的 DS1618 还小很多。 上面的配置方案给可能有类似需求的坛友参考。祝大家玩得开心 hhhhhhhh |
| 10 locoz 2020-12-29 19:04:22 +08:00 @CrazyRundong #9 其实你系统用 unraid 不香吗？不管是做存储服务器还是做其他功能都很方便。 比如你的第二个虚拟机就完全可以不需要，直接装 nvidia 驱动（有个插件可以傻瓜式安装）然后用 Docker 开个容器，再把显卡 ID 传给容器使用就行了，不管是 CPU 还是 GPU，性能损耗都比虚拟机要更小，虚拟机主要还有个磁盘 IO 的损耗比较严重。 而且如果有 SSD 做缓存池的话，容器在用存储的时候还可以直接无感用上自动先缓存池再机械盘阵列的存储策略之类的，体验更好。 然后后期如果还要加什么别的乱七八糟的服务，用 unraid 的插件商店装的时候也比 True NAS 下安装要方便。 |
| 11 CrazyRundong OP @locoz 哈哈，之前也看过老莱和腹语哥的一堆 unRAID 视频，但是我担心在 hypervisor 上直接折腾 CUDA + Docker，万一把宿主系统搞挂了其他的所有虚拟机都会受到影响。因此还是决定最小化宿主系统的职责，让 VT-d 虚拟机 do the jobs. 相较于稳定性，大概 5% 的 CPU/GPU overhead 是完全可以接受的。 关于磁盘 IO，因为我在工作站上的任务不太吃磁盘性能，而且宿主上存储虚拟磁盘的介质是两块 1T NVME 组的 ZFS mirror，感觉也够用了。如果后期有其他奇怪的需求，估计就再分几个 core 给新的虚拟机用好了 hhhhhh |
| 12 locoz 2020-12-29 19:26:44 +08:00 @CrazyRundong #11 我目前使用下来 Unraid 的 Nvidia 驱动插件+Docker 这种方案非常稳定，没有出现挂掉的情况过，还是很稳的，主要就限制一下容器的 CPU 和内存占用就好了，吃满资源的话肯定会影响到其他东西的。 虚拟磁盘的 IO 问题跟物理存储设备其实关系没那么大，主要感觉还是虚拟化的问题，不是直通就会慢很多，建议先测试一下 IO 性能看看能不能满足需求。 |
| 13 CrazyRundong OP @locoz 刚刚用 hdparm 在 ubuntu vm 下测了下，读取速度似乎是把 PCIe3 x1 跑满了： ``` Timing buffered disk reads: 3516 MB in 3.00 secOnds= 1171.94 MB/sec ``` 看来 bit-by-bit 的磁盘虚拟化开销也不算大？ |
| 14 locoz 2020-12-29 20:29:13 +08:00 via Android @CrazyRundong #13 主要是随机读写和读写延迟，顺序读写损耗不大，我之前测试的时候是直接把 Intel 900P 跑成了普通入门级 SSD 的水平，也不知道为啥…不过如果你只需要顺序读写的话倒是无所谓。 |
 | 15 sidkang 2021-04-12 11:20:15 +08:00 搜了下忽然发现楼主的配置和我目前的构思差的不多，请教一下，同样打算用 R6，但是看到一些帖子上说三点固定可能不太牢固之类、硬盘晃动的问题，楼主目前上了多少盘位的 3.5HDD 呢，硬盘的炒豆子声音的静音以及共振问题怎么样？ |
| 16 CrazyRundong OP @sidkang 嗯，我刚开始也担心三点固定的问题，但是用了这么久感觉还是很稳的。目前上了 4 * 8TB SATA HDD，没有听到共振，用的西数企业盘读写时的炒豆子声非常小，起码比 4T 红盘小多了 |
| 17 sidkang 2021-04-12 13:19:30 +08:00 @CrazyRundong 收到，安心很多，目前手上 5 张 8T+1 张 14T 硬盘，还是上 R6 把，合适的选择确实太少了 |
Select Language