现在大语言模型挺火，我平时用的都是在线的 chatgpt 、deepseek 之类。
最近看到 AMD AIMAX 395 什么的，我在想是否自己组一个，本地搭建一个蒸馏模型。
但除了隐私数据安全相关问题，像我这样普通人，也想不出本地应用场景的优势。
9 条回复 2025-12-30 12:49:14 +08:00
 | 1 donaldturinglee 9 天前  1 本地跑小模型玩一玩，学习一下原理，真要在生产环境用肯定是组卡或者买 API 。 |
 | 2 crocoBaby 9 天前 via iPhone 1 本地部署只玩到推理，但是 ai 含金量高的技术是预训练，所以本地部署使用场景有点鸡肋 |
 | 3 vtea OP |
 | 4 xiaket 9 天前 1 ^用正常模型来给一个程式化的判据, 而不是每次需要依赖不那么可靠的本地模型来预测 |
 | 5 volvo007 8 天前 via iPhone 1 我们这行有很多测试标准，所以准备给公司搭一个知识库用。但设备是专门的 4 卡 A100 ，还有一台 8 卡 4090 的准备放点别的小玩意。就算推理也是需要一点算力和显存才可用 |
 | 7 wnzhyee 8 天前 1 参数量为王，再怎么蒸馏，家用 pc 的那点性能能搭起来的 LLM 和闭源那些主流模型比差距太大了，不是一个世界的 |
 | 8 Daybyedream 8 天前 1 自己弄个 然后弄个 dify |
 | 9 coefu 7 天前 1 本地起码要 2*nvidia dgx spark 起步,或者一个 mac studio ultra m4 512G ，不然都是玩具。 |
Select Language