别在用 GPT 的 API 了，自己训练一个 GPT3 LIKE 吧，成本几十美金

还是得看效果。

技术上有一个可用的临界点，低于这个点就没有产品化的必要。

目前看这个临界点在 GPT 3.0 和 3.5 之间，3.0 其实已经出来挺久了，但是一直不温不火，就是因为它没有越过临界点。

@swulling 最后拼的是高质量数据

今天打算搞一波试试

其实部署模型也是一个很复杂的事情，这种大模型本地用还可以，如果想把他做成服务，那需要下太多功夫了

搞一些领域专用模型作为助理工具够用了，也容易在企业应用里面集成。

@zhleonix 赞同

关于这个临界点其实需要注意自己思维里的盲点
我们会认为是技术上线性提升，是一种增量思维
表面上看也的确符合，多用了 RLHF
但这是关键了，RLHF 可以通过被训练好的 model 迅速传递到下一个 model 里。也就是说，openai 吃了螃蟹，别人可以很低成本地消化它吃过的。
同时，175B 参数一定是那个临界点的阈值吗？不一定。6b + RLHF 说不定也行，可能会好过纯粹 175b 的能力。就这一个变量，就导致线性思维毫无用处，基本会把自己带坑里错过机会

3.5 和 4 就是小学生和高三生的差距

这个和斯坦福那个羊驼 lora 有什么区别？

@Wenbobobo 借鉴了那个，这个主要是训练成本很低，作者说是几十美元就有 gpt3 差不多的效果，具体得亲自试试才知道

低质量的数据集容易生成低质量的模型不说，模型还可能受数据集质量产生各种仇恨负面等言论。这也就是为什么 OpenAI 的模型都有 Human-In-The-Loop ，他的模型说话可以让人接受。

@cattrace 这个有部署的 colab 或者教程嘛，好像没找到。之前斯坦福有 colab

@Wenbobobo git 里有写 用 darabricks