askfermi

@ferock 有点像但也不完全一样，我的几个需求
1) 我希望能用自带的 model

2) 我希望能自己写一些固定的 workflow 来简化我的流程，我不需要全部都由 LLM 生成，我可以自己写一个 function 之类的给 LLM 来调用

3) 我不是很喜欢在 cli 对话这种体验（ coding 当然没问题，但其他的任务感觉不是很必要），我希望能融入到我的 workflow 里，比如我可以 cat kubectl get pods | vibe run docqa -q "summarize what happened"。

听起来像是 queuing theory 的问题，不过多个队列的问题没怎么研究过，可能可以用 queuing theory 作为关键词搜搜

@lyang 我也想过这个方案，会有两个问题：1. 会有一些资源浪费 2. 由于 llm 生成本身有一些随机性，会导致没办法期待完全一样的结果。

@GeekGao 是的 目前 workload 会随机在支持同一模型的节点里随机分配，监控和其他的目前没实现，估计需要下一个大版本

@nikola11 说很对，这可能可以以后研究一下 :)

@sentinelK
1/ 虽然这个交互平台是中心化的，但 api 的接口（或者说在实际调用计算之前）是去中心化的。用户可以在本地跑一个节点，之后调用这个节点提供的 api ，并把 request 分配到网络里的所有节点上。你也可以跑一个自己的 bootstrap node ，让朋友们加入这个 bootstrap node 。这应该也能回答 2/。
2/ 除此之外，其实商业化并不是这个项目的目标，我的目标是想知道在去中心化的情况下如何验证结果的正确性，如何合理的分配激励，如何调度计算资源等等。
3/ 目前没想到什么好办法，目前的想法是可以不断地对每个节点进行验证，每一个 request 可能被分配到 2 个以上的 node 上。

@lithiumii 有点像，但 petals 太慢了

@peterchen26 没错，基本上就是这样