在 M1Max 的 MacBook Pro 上跑 Apple 的 Ai 是否够用？主要是端侧大模型硬件性能是否够用
mikelirjc 2024-06-30 19:49:04 +08:00 2804 次点击这是一个创建于 538 天前的主题，其中的信息可能已经有所发展或是发生改变。
因为现在 M1Max64G8T 也才 2w 左右，确实香
 | 1 ETCartman 2024-06-30 21:10:48 +08:00 via iPhone 有点慢:( |
 | 2 cJ8SxGOWRH0LSelC 2024-06-30 21:28:57 +08:00 M1 过时了， 买新不买旧 |
 | 3 seanzxx 2024-06-30 22:40:53 +08:00 via iPhone 要真的用来跑 AI ，m1 的 NPU 太老了，m1 max 的算力也只有 m4 的三分之一，应该等等 m4 max 的 MacBook Pro |
 | 4 Theigrams 2024-07-01 00:24:35 +08:00 > With this set of optimizations, on iPhone 15 Pro we are able to reach time-to-first-token latency of about 0.6 millisecond per prompt token, and a generation rate of 30 tokens per second. 苹果的端侧模型才 3B ，M1 随便跑无压力 |
 | 5 rainbowmolly 2024-07-01 01:37:45 +08:00 iphone 上可以跑 m1max 跑不了这个听起来不太可能吧 |
 | 6 dilidilid 2024-07-01 01:53:46 +08:00 你说的端侧大模型是指啥？如果是指苹果自家上的模型的话肯定够用，如果是 SOTA 的开源大模型，就算能跑也快不了，哪怕是最新的 M3 Max 也就那么回事，不要有太高期待 |
 | 7 vincentchyu 2024-07-02 14:34:18 +08:00 @seanzxx 哈？你这个数据是咋来的？不能张口就来吧你要说 m1max 距离 m4max 差很远，但 m1max 打 m4 是无压力的，根本就不在一个纬度 |
 | 8 seanzxx 2024-07-02 17:53:08 +08:00 @a66243766 看 Spec 呀，算了，刚好手上有设备，用 GeekBench ML 跑个分。 设备： 1. MacBook Pro 2021, M1 Max, 64GB 2. iPad16,5, M4, 16GB 3. iPad 14,8, M2, 8GB 软件版本： 1. Geekbench ML 0.6.0 for macOS AArch64 2. Geekbench ML 0.6.0 for iOS AArch64 分数 (Core ML Neural Engine Inference Score)： 1. M1 Max: 8572 2. M4: 10219 3. M2: 7971 链接: 1. https://browser.geekbench.com/ml/v0/inference/402657 2. https://browser.geekbench.com/ml/v0/inference/402661 3. https://browser.geekbench.com/ml/v0/inference/402663 |
Select Language