M4 Max MacBook Pro + 128GB RAM 跑大模型:
1 yinmin 205 天前 via iPhone 能跑到多少 tokens/秒?另外,8bit 的 70B 模型跑的性能如何? |
![]() | 2 yibie OP 8bit 还不知道,之前跑 Gemma3 应该是 8 bit 精度的,20 token/s 吧,不过这个速度不恒定,看模型会不会自己卡,但一般超过 10 token/s |
![]() | 3 yibie OP @yinmin 8bit 还不知道,之前跑 Gemma3 应该是 8 bit 精度的,20 token/s 吧,不过这个速度不恒定,看模型会不会自己卡,但一般超过 10 token/s |
![]() | 4 walkon 87 天前 我 64GB 的,跑一个 DeepSeek 8B 的风扇也会响。跑 70B 的 9.7 tokens/s ,感觉一般。 |