这是一个创建于 315 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近有人说 DeepSeek 是蒸馏了 ChatGPT 的，以此来降低成本，有没有大模型领域的佬来解释下，业界内这种做法算常规吗？
然后我突发奇想，如果两个模型互相蒸馏，反复进行，最终它们会变成一个模型吗？比如说回答的内容会变成一模一样的。从技术上如何解释？
 | 1 Muniesa 315 天前 这个叫 deep mutual learning |
 | 2 my101du 315 天前  8 这一片红花绿草，在太阳的照耀下，光影投射到地面，多么美丽啊！ 光影照着花草，多美！ 草！美！ |
 | 5 YogaHale 315 天前 via iPhone 参考近亲交配 |
 | 6 hefish 315 天前 直接蒸干了。。。 |
 | 7 renmu 315 天前 via Android ai 模型的语料不就是抄来抄去，再加上已经部分语料已经被 ai 污染了 |
 | 8 Izual_Yang 314 天前 你就类比图片转码。高分辨率高质量往低转，肯定损失信息，有损编码更加损失。低分辨率低质量往高转，信息量摆在那里不可能凭空生成，虽然有可能训练模型从同类图片去推算，但也只是推算的，就好比 AI 模型也会产生幻觉 |
 | 9 fang2hou 309 天前 via iPhone 1 模型的结构是可以做成不同大小，不同结构的，所以在不同项目上的表现也大概率有差异。训练时本身的随机性也会导致不同初始状态的网络产生差异，那么相互学习就能够从其余网络中把这些优秀的特性汇集过来。蒸馏不是抄作业答案而是把目标模型当作老师学习，逐渐让自己能够达到老师水平的感觉。是可以用算法设计把不如自己的部分无视掉的，相互学习相当于好几个学生互相切磋琢磨的过程，理论上是能提高的，大概 5 年前这个概念也是相当火爆 |
Select Language