stefwoo

中文用户，gmail 和 github 登陆，直接杀掉了 99.9%的用户，邮箱登陆其实也不方便
我本来想推荐给老婆的。
建议推出微信小程序版

提个建议：定时任务的结果可以推送到 channel 。现在是运行完了就完了，多了一个 chat ，不注意根本看不到。

昨天晚上装了一个，现在试了一下，还可以，继续测试。

我用了两天，感觉不行。用 Deepseek 老是报 400 错误。

@NSAtools 都没跑，用量小，用魔搭 122b

@jingle 是的，文字相关的就会很差。如果只有唯一解法的问题，就会好很多。编程也还好。

为了把大模型和草稿小模型一起塞进 24G 显存，选 4-bit 量化（~16G ），草稿保持 BF16 （~1.2G ），KV 缓存用 quant 量化。
预填充时，草稿小模型飞速扫遍长文本，只挑出最重要的 5% 片段；大模型只对这 5% 做稀疏预填充，跳过其余 95% 的无关内容。
随后进入生成阶段：草稿模型一次幻想出多个候选 token ，大模型用树形注意力一次性验证整棵树，实现高速逐词解码。

网站挂了，楼主