大模型的训练是不是到头了? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
nosugar
V2EX    问与答

大模型的训练是不是到头了?

  •  
  •   nosugar 52 天前 4401 次点击
    这是一个创建于 52 天前的主题,其中的信息可能已经有所发展或是发生改变。
    GPT5 发布后用了感觉没有质的变化,可能是部分场景的调优,拼训练数据,拼各种细分场景的优化,感觉训练数据就这么多,以后各家的水平会无限接近,会拼各个细分领域

    大家觉得以后大模型还会从哪方面发展?以后是否是更注重大模型的实际业务需求落地?
    21 条回复    2025-08-19 09:37:08 +08:00
    kunkunzhang
        1
    kunkunzhang  
       52 天前   1
    不是行内人就别评论了。。。多调查调查不是坏事
    icemaple
        2
    icemaple  
       52 天前
    你要不把你的内容输入到 GPT5 呢?
    ScotGu
        3
    ScotGu  
       52 天前
    点进来之前我以为 NVIDIA 要黄摊子了呢。
    gazi
        4
    gazi  
       52 天前
    多模态,通用世界模型。 前路漫漫呢
    showonder
        5
    showonder  
       52 天前
    2 年这个发展速度已经够快了。。。这行业里还有很多要做没做的东西,空间大着呢。。。
    clemente
        6
    clemente  
       52 天前
    还有多模态和 MOE 呢

    只能说纯语言的模型快到头了 (不过数据集还可以继续增长)
    JamesR
        7
    JamesR  
       52 天前
    很明显没有,大模型至少还有个二次大升级,大模型它还可以收集各个用户反馈成功与否,来进一步大提升自己某个问题的准确率和它本身的洞察力。
    就看谁家大模型掌握的用户问答数据更多了。
    love060701
        8
    love060701  
       52 天前
    基于 Transformer 的 LLM 应该是到头,Scaling Law 基本失效。其他方向目前还没看到能让 LLM 大幅进化的迹象,实现 AGI 还需要新的技术出现。
    catazshadow
        9
    catazshadow  
       52 天前
    AGI 不可能的
    gpt5
        10
    gpt5  
       52 天前
    那不正是做空 ai 概念股的机会
    AEDaydreamer
        11
    AEDaydreamer  
       52 天前
    Openai 估计是到头了, Anthropic 和 Google 油还很多.
    huanxianghao
        12
    huanxianghao  
       52 天前
    首先应该解决 AI 的幻觉问题,经常性胡说八道
    exploretheworld
        13
    exploretheworld  
       52 天前 via Android
    堆参数和训练文本的模式可能走到头了,要开始卷算法了把
    hahiru
        14
    hahiru  
       52 天前   1
    你可以试一下 qwen3 的 30b-a3b 模型。
    以后可以拼小模型的性能。
    小模型微调+行业数据+内部文档+本地部署
    JontyChen
        15
    JontyChen  
       52 天前
    远没到头啊,到头的时候是老板一句话把产品做完了,把下面牛马都裁掉
    lovedebug
        16
    lovedebug  
       52 天前
    针对人类学习的科学研究还没有到头~
    trungdieu031
        17
    trungdieu031  
       52 天前   2
    至少目前还没到头。

    不过你可以说现有范式下的 pre training 趋于平缓了,test time training 还远没看到上限,作为例子,本次 GPT5 pro 模式下,数学等逻辑推理能力提升很大,幻觉也大大降低了(但大部分人可能都用不到)。这是 o 系列模型进一步提升的效果。而且 OpenAI 最近接连在 IMO 和 IOI 上连续获得金牌也足以说明一些问题。

    我看很多人说 GPT5 智力下降了,表现在连个 9.11 和 9.8 的大小都比不出来。这一方面是 OpenAI 路由的问题,本来这些数学问题无论大小都要用 thinking 模式,如果只是路由到直接输出的基模,不管谁家的都有可能大错;另一方面也可能大多数用户也不知道这些常识,什么时候要用什么样的模型里面也是有点门道的~

    目前的大模型能力在继续增强是毫无疑问的,但也不是没有缺陷。on-line learning, memory, long term planning 这些还都要进一步突破~
    jdz
        18
    jdz  
       52 天前   1
    @kunkunzhang 尽说片汤话
    putaozhenhaochi
        19
    putaozhenhaochi  
       52 天前
    没呢 互联网公司还没大规模裁员呢
    re2ikotr
        20
    re2ikotr  
       52 天前
    感觉 pretraining 这套确实到头了
    mingtdlb
        21
    mingtdlb  
       51 天前
    说下体验,感觉 gpt5 有时候像智障
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1096 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 23:18 PVG 07:18 LAX 16:18 JFK 19:18
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86