也许每个人都有必要去了解一下 ChatGPT 的技术原理，这样才能形成对它的理性的认知。

感谢分享。（月薪三千的我就不去形成理性认知了）

我觉得这篇更加深入浅出，关键没有深度学习背景也能看懂： https://arstechnica.com/information-technology/2023/04/why-ai-chatbots-are-the-ultimate-bs-machines-and-how-people-hope-to-fix-them/

一句话就是统计学概率+人工标记。下面是 bard 总结的文章内容：

“作者指出了人工智能聊天器人造假信息的主要原因。首先，他接受包含真和假信息的大量文本集的。意味著他可能生成型的文本。其次，人工智能聊天器人不是能分真假信息。是因它有明程行此操作。

作者建有方法可以解人工智能聊天器人造假信息的。一方法是在包含真信息的集上聊天器人。然而，是一困且耗的任。另一方法是可以助聊天器人分真假信息的算法。然而，也是一具有挑性的任。

作者最後，解人工智能聊天器人造假信息的最佳方法是教育人些聊天器人的工作原理。人意到人工智能聊天器人不是可靠的信息源。他意到聊天器人正在造假信息的象。”

我这阵子就在系统学习这方面的知识，发现很多之前媒体上还有程序员圈子里传的很欢的说法，其实都是一知半解的人以讹传讹。
学习过程中意识到了很多东西，觉得应该大家有空的都好好学学。

我去看了你的文章以后才发现，咱俩竟然是同事……

对 chatgpt 的理性认识就是现在做 AI 本身开发的赛道已经没有中小公司啥事了，以往还能抄个开源模型调参，现在老实接 api 做应用端就好了。

看到抖音有个视频讲得挺好的,感觉主要有趣和牛逼的点在于神经元网络,还有权重算法这两个点,
还有一个就是记忆能力,gpt 的记忆能力的技术感觉应该能早点出现的,怎么 gpt 出现了,才意识到应该有这种东西这么好用.
但是我疑惑的大数据模型的来源基本没将,可能是因为这个东西其实含有大量人工成分,而且也不好讲太明白.

参考 SD 绘图,我理解的黑盒更像是一大堆"错误答案"里的"正确答案",科技本身就是不断纠错的,参考<两个铁球同事着地>,有时候一直认为是正确的东西也不一定是正确的.

我了解原理，从 word2vec 、bert 、一路追过来的。但是就是搞不懂怎么一下子涌现出这么厉害的能力

@oukichi 哈哈，同事你好！

@fwin3001 感谢分享！

@rocmax 那也不尽然，我觉得不久的将来肯定有开源可用的模型出现，随着硬件性能的提升以及各类优化手段加持，以后应该人手一个大模型，人手一个专用的智能助手。

@mjawp 这就是黑盒的感觉，目前只是有一些经验的解释。

@BrightLiao 不光是硬件算力的问题，还有训练数据集资源的问题，最后还需要大量人工标注，哪一点都不是中小企业玩得起的。

感谢分享,不过说个实话,这个作为"程序员的角度"可能还不够,应该说普通人的角度,程序员大多都有所了解,知道一些基本的工作模式,希望能普及更底层一点的知识.
我跟 gpt 也有一点缘,公司 19 年就尝试过用 ai 来写文章,当时也是找过一些类似模型,不是基于 transfomer 但也是 token 预测,训练了数周时间,可以写一些智障文章,于是我们悲观的感觉 10 年内都不用考虑 ai 写文章,没想到才 2 3 年就发生了巨变, 当时如果能尝试下 gpt2 也许会重新评估我们的想法

@rocmax 一些简单的模型，如果业务复杂度不高的话，可以自己写模型或者直接使用开源模型吧？ 这样成本应该更低？接入成熟已有接口必然都很贵吧。