我用 3.5 天的时间和 Claude 3.5 联手开发了一个 Mac App，利用本地运行的 Llama 3.1 提供实时的 AI 反应。在 M 系列芯片的 Mac 上可用。免费，完全本地，飞快。
unstop 2024-08-02 17:31:14 +08:00 6021 次点击这是一个创建于 440 天前的主题，其中的信息可能已经有所发展或是发生改变。
朋友们好，好久不见。
前几天 Llama 3.1 发布，我体验之后感到
时代的变化突然降临了，现在每个人都有几乎免费而且无限量的机器智能。
问题在于缺少应用。
我要做一个大量使用本地 AI 的应用！
整个开发过程和 Claude 3.5 合作完成，3.5 天之后，Snapbox 横空出事：
下载链接：
Snapbox 最基本的用法是在任意 App 中选中一段内容，按 Alt + Space 快捷键启动 Snapbox ，立即获得来自本地 AI 的回应。
修改会自动触发重新请求，因此叫 Live Reaction.
更高级的用法是可以利用预设的 Prompt ，选中内容之后直接套入特定的 Prompt ，可以实现翻译、查词、找 bug 、改写等各种业务。
一切都在本地完成，完全免费，速度飞快。
推荐 Llama 3.1 8B 和 Gemma 2 2B 这两个模型，16G 内存选前者，8G 选后者。
第 1 条附言 2024-08-04 21:47:58 +08:00
刚刚更新的 v1.10 支持了包括 Openai, Gemini, Anthropic, Openrouter, Groq 等在内的服务提供商。
 | 1 BearD01001 2024-08-02 17:37:13 +08:00 好强的执行力，已下载体验 |
 | 2 arongpm 2024-08-02 17:41:11 +08:00 已下载，需要和你学习执行力 |
 | 3 KcKXpykSg2777f5I 2024-08-02 17:46:14 +08:00 楼主太强了，能否加我微信一下？ R29vZ2xlTWljcm9zb2Z0 |
| 4 BearD01001 2024-08-02 17:47:40 +08:00 不知道是不是我使用方法有问题，更改快捷键后好像不会生效，快捷键无法唤起应用主窗口 |
 | 5 unstop OP @wangshushu 微信不太用，可以 X 私信联系我：dm.new/qqs |
 | 6 CSGO 2024-08-02 18:07:45 +08:00 ！ |
| 7 CSGO 2024-08-02 18:09:18 +08:00 15.0 Beta 版是不是用不了啊。 |
| 8 unstop OP @BearD01001 确认是一个 bug ， 已经在 v1.9.10 中修复。推荐更新一下。 |
 | 10 djyde 2024-08-03 13:39:31 +08:00 8.2MB, electron 用户流下了羡慕的泪水 |
| 11 djyde 2024-08-03 13:49:54 +08:00 我用的 16G m1 air, 跑 llama 3.1 还是挺吃资源，会从本来 5G free 变成 1G. 速度大概是一秒两三个字。 这也是为什么我一直想用本地模型但最终还是会回到中心化模型。不知道大家一般用什么配置能流畅使用 llama3.1 这个级别的模型。 |
 | 13 richangfoo 2024-08-03 14:02:03 +08:00 横空出事? 出什么事了？ |
 | 14 unstop OP @richangfoo 故意留的错别字，目前只有你一个人发现 |
 | 18 ktqFDx9m2Bvfq3y4 2024-08-03 14:56:05 +08:00 via iPhone 苹果的模型性能需求不是只有你那个 8B 的六分之一么，有没有人试试效果 |
 | 20 kaxiu 2024-08-03 15:06:22 +08:00 的确飞快！ |
 | 21 YsHaNg 2024-08-03 16:55:56 +08:00 via iPhone @Chad0000 afm 没开源出来 on-device 是个不到 3b 的模型 按照公测评价实际不咋样 苹果自己评分对比 op 这两个是胜的 https://machinelearning.apple.com/papers/apple_intelligence_foundation_language_models.pdf |
 | 22 john990 2024-08-03 19:23:30 +08:00 楼主可以分享下使用 Claude 技巧吗？为什么我和他沟通好几次才能完成一个小功能… |
 | 24 joejiang 2024-08-03 23:32:43 +08:00 via iPhone |
 | 25 gebiwanger 2024-08-04 18:56:23 +08:00 nice 。后续还会有更多有价值的迭代更新吗？ git4all 这样的 app 也可以快速下载开源模型，叠加 RAG 文档训练，开启本地 server 。 这些开源模型都需要比较大的内存，服务器上跑跑还可以，但质量还是不行。 本地的话，还是得上 gpt 和 claude ，但是又不开源。 so ，这个方向价值的局限性，看起来还是很大。 |
| 26 unstop OP @gebiwanger 刚刚更新 v1.10 支持了远程服务商 |
 | 27 tomdddd 2024-08-05 04:10:13 +08:00 楼主之前有开发这个桌面端 app 的经验么，求问下技术栈是啥 |
 | 29 fcten 2024-08-05 09:05:48 +08:00 @unstop 选择 custom endpoint 填写相关信息后，使用时提示 An error occurred ，是哪里不对？我尝试了一下阿里云百炼的 api |
 | 31 weilongs 2024-08-05 09:56:33 +08:00 下载下载,看起来还不错的样子. |
 | 32 xing7673 2024-08-05 09:56:36 +08:00 @djyde #11 m1max 32g 内存，输出字符和网页版差不多，基本可用。但是非常后悔为什么当时不再多加一点钱上 64g ，这样就可以跑主流 70b q4 的模型了 |
 | 33 Neo18761 2024-08-05 09:58:56 +08:00 直接下载 Ollama 就可以呀 |
| 35 fcten 2024-08-05 10:17:04 +08:00 @unstop 我用的是 openai 的兼容 api ，直接用 OpenAI Python SDK 调用是没问题的。主要是没有错误提示，也不知道为啥 |
| 36 unstop OP @fcten 配置为 https://dashscope.aliyuncs.com/compatible-mode/v1 理论上应该可以，我测试了其他的 Openai 兼容接口是好用的。 |
| 37 xing7673 2024-08-05 11:18:34 +08:00 看起来目前的需求 raycast 都能够覆盖到，op 加油 |
 | 38 jackple 2024-08-05 14:54:46 +08:00 模型文件是下载到哪里了呢? |
| 39 jackple 2024-08-05 15:42:48 +08:00 找到了, 在~/.ollama/models |
 | 40 mitoop 2024-08-05 16:39:24 +08:00 An error occurred. Please try again. 这是为什么 |
 | 42 LaughingCat 2024-08-05 17:30:45 +08:00 牛啊 |
 | 43 ropon 2024-08-05 17:48:38 +08:00 有 intel 芯片的包么？非常想体验下 |
 | 44 rubbishmod 2024-08-05 18:34:35 +08:00 想请问程序内置了 ollama 吗？还是说需要本地自己下载 ollama |
 | 45 viiii 2024-08-05 20:21:44 +08:00 行动力满满, 点赞~ 顺便问一下, 按照你这样的深度使用来说, GPT4 和 Claud3.5 相比, 辅助开发(也许是人辅助 AI,哈哈), 哪个更强更实用一些? |
 | 46 yazoox 2024-08-05 20:38:44 +08:00 好像很厉害的样子...... 点赞！ |
 | 47 ccc00 2024-08-10 17:30:19 +08:00 via iPhone 请问怎么加到访达 - 应用程序里面 |
 | 48 ryh 44 天前 很有潜力的 app 怎么不更新了，才看到支持 openrouter 但配置了没返回消息啊 |
Select Language