配置 Ai 工作站， 4 块 3090 还是 2 块 4090？
researchnoob 2024-05-31 06:41:17 +08:00 via iPhone 3005 次点击这是一个创建于 567 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近需要采购 AI 工作站供团队科研使用，主要是用于深度学习。
cpu 准备配置 i9 14900k ，192g 内存，这些 v 友有什么改动建议吗，想过 xeon 处理器，但是价格飙的太高了。
主要是显卡拿不准，是 4 块 3090 24g 还是 2 块 090 24g ，这两个价格差不多。3090 的 nvlink 技术我是知道的，但是目前我确实还没遇到过能吃 24g 显存以上的训练。不过不齐以后要玩玩大模型，另一个方面看似乎 4090 的训练效率要高不少，大家有什么推荐吗？
亦或大家有什么成熟的方案，希望不吝赐教
15 条回复 2024-06-04 16:55:56 +08:00
 | 1 osilinka 2024-05-31 06:46:16 +08:00  1 要看你想玩的模型大小，如果是 70b 的话，4 块 3090 24g 比两块 4090 要好很多吧 |
 | 2 EgbertW 2024-05-31 07:56:07 +08:00 或者考虑下 A6000 ？ |
 | 3 GPLer 2024-05-31 09:02:32 +08:00 via Android 1 1 块 4090 24G ，两块 3090 ti 24G ，四块 2080ti 22G 然后 CPU 如果不要求单核性能可以考虑下 epyc |
 | 4 cmlz 2024-05-31 09:02:33 +08:00 via Android 14900K ？蓝屏警告 |
 | 7 egen 2024-05-31 09:18:11 +08:00 大模型 4 x 24 都有点捉襟见肘，网友都不少组 2080Ti 22 x 8 的。4 卡跑 72b 模型大概只有 15k 左右上下文，连 32k 都跑不出来。 不玩大模型按你们自己的需求来吧。 |
 | 8 Bluecoda 2024-05-31 11:15:36 +08:00 我站 3090 ，毕竟自己跑，推理占更多，显存足够大你就有更多的选择，显存大就是王道 |
 | 9 rming 2024-05-31 11:22:43 +08:00 据说 2080Ti 最大的问题是太吵。。 |
 | 11 codersun123 2024-05-31 16:21:12 +08:00 1 你这个工作站需要分配虚拟环境给不同的人使用的吗？如果是分配的话那就建议 3090 ，至少可以多几个人来使用 |
 | 12 wsbqdyhm 2024-06-03 14:20:31 +08:00 楼主决定了吗？看看最新的配置如何？ |
 | 13 researchnoob OP @wsbqdyhm 还没决定，但是初步考虑因为我们这机子共享的人数有限，加上训练速度还是挺重要的，准备采购一个包含 2 张 4090 的新机子，然后外加一张 3090 升级一下以前的机子，CPU 等配置和我标题说的一样。 |
| 14 wsbqdyhm 2024-06-04 08:48:10 +08:00 @researchnoob 很多版放不了两个显卡， |
| 15 researchnoob OP @wsbqdyhm Z790 应该可以，准备选这个 |
Select Language