hbdh5

答案就是没啥用，再高配上个 4090 顶天了。内存配到 200 多 g 顶天了。但是你想本地部署个最新的开源模型最新的 moe 别说放显存，内存都装不进去，估计还得丑陋的放硬盘 swap 。而自己有个啥 idea 想训练个模型验证想法更是别想了。也就打打游戏能行。

把 key 给我，3 天后用不完算我输

你要本地部署？那采购个几个 8 卡 A800 节点的钱应该没问题吧？你说的定制如果是 prompt 那问题不大，你要是指的是定制模型那请参考最近 deepseek 训练成本 278.8 万 H800 GPU 小时，另外能有 deepseek 实力和微调经验的人工费我都没给你算。

我真的觉得有时候用户不知道自己想要什么。要这要那的，丝毫不顾自己那点需求其实用不到也用不起。

@neteroster 是的，论文主要的亮点就是训练部分，不得不说还得是 MoE ，要是 dense 模型参数太大的话一张卡放不下数据交换的妈都不认识，根本没地应用这么多优化。只能送钱给老黄。

@mumbler 可题主问的是笔记本跑，那我就默认是个人用了。医疗数据应该是有业务用途的怎么也得买个 8 卡集群吧？

没人关注训练部分吗？看看原始论文，推理部分的优化似乎来自蒸馏自家的推理模型，auxilary loss 动态调度负载 + DualPipe 优化 pipeline bubbles + 根据通信做混合精度优化， 计算与通信的瓶颈的优化做到极致了。以至于训练成本只有 500 多万刀，和 o 家和 g 家比算是用乞丐的成本达成了至少也是不相上下的结果。要我说，closedai 不做人干脆把 gpu 匀给 deepseek ，可惜匀不得。

推荐就是老老实实的调 api ，别想本地跑啥模型，新发布的 deepseek v3 看了吧，这玩意主流的笔记本就是量化到 1bit 都加载不进内存。