我有很多 32 核的 cpu 机器，想要跨这些机器使用所有的 cpu 算力进行推理。
这个该怎么做啊？
是不是部署 k8s 集群就可以，还是有更简单的办法？
还是说用分布式的 spark 等计算框架？但是具体该怎么搞呢。没头绪
这个该怎么做啊？
是不是部署 k8s 集群就可以，还是有更简单的办法？
还是说用分布式的 spark 等计算框架？但是具体该怎么搞呢。没头绪
请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 909 days ago, the information mentioned may be changed or developed.
Supplement 1 Nov 16, 2023
场景是跑开源大语言模型
 | 1 murmur Nov 16, 2023 你做科学计算么，有的科学计算是 cpu 运算+大内存，不过也不是用框架，直接买现成的软件，比如电磁学的 feko |
 | 4 israinbow Nov 17, 2023 TorchServe 或者黄核弹的 TensorRT? 我们做边缘计算的还有用 ONNX 的, 挑一个吧 |
 | 5 max1911 Nov 17, 2023 op 可以试试 ggml 库重新，基于 ggml 上的项目 llama.cpp ，可以实现用 C++运行语言模型 |
| 6 max1911 Nov 17, 2023 |
| 7 max1911 Nov 17, 2023  1 |
 | 8 t133 Nov 20, 2023 via iPhone 大矩阵的乘法除非你有 infiniband 并行效率惨不忍睹 |
Select Language