这是一个创建于 239 天前的主题，其中的信息可能已经有所发展或是发生改变。
自己在 x86 + nVidia 平台上面，搭建一个 deepseek ，真是怎么快怎么来，舒服一个字。
在公司华为的腾 arm + npu 平台搭建一个 mindie 推理框架，居然让我有种想转行的挫败感，搞死我了（哭。
第 1 条附言 239 天前
ollama 不支持，行，这个本来只适合科研或者原型开发，不适合大规模商用。
vllm ，适配了，但限定少数型号，公司花大价钱买的型号不在支持范围。
那就剩下那个什么 mindie 支持部署 deepseek 蒸馏模型，一看那个文档，我勒个去，从业多年我是没见过这么复杂的部署方式，还要用一大坨一大坨 python 代码验证。
vllm ，适配了，但限定少数型号，公司花大价钱买的型号不在支持范围。
那就剩下那个什么 mindie 支持部署 deepseek 蒸馏模型，一看那个文档，我勒个去，从业多年我是没见过这么复杂的部署方式，还要用一大坨一大坨 python 代码验证。
第 2 条附言 238 天前
厂家派了个运维工程师搞了一天过来支援都部署不成功，跑大模型还会死机，哈哈，哈哈（哭
 | 1 zqqian 239 天前 学会克服在别的地方不存在的困难  |
 | 2 cyp0633 239 天前 恐怕腾在一众信创方案里已经算简单的了，华为还是真想拿来卖钱的 |
 | 3 frankies 239 天前 搞信创就这样，平白无故增加毫无意义的工作量，不过习惯就好啦，又不是不给工资 |
 | 4 mumbler 239 天前 你会在腾上搭建 deepseek ，你知道这个技能值多少钱吗？帮一个公司搭一套收 10 万一点都不多 |
 | 5 zhaoxj58 238 天前 老哥，真有这么值钱？ |
 | 6 darkingwalker 237 天前 我在海光平台上跑起来了 ollama+deepseek ，但是跑起来之后的问题也很多，现在做这块儿内容的感觉就是资料很少、问题很多、还没啥人能交流 |
 | 7 mmdsun 237 天前 via iPhone 华为不是有个超融合一体机么 最近适配了 Deepseek 模型 试试那个 |
Select Language