llama 3 发布了,我感觉挺猛的... - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
t41372
V2EX    Local LLM

llama 3 发布了,我感觉挺猛的...

  •  2
     
  •   t41372 2024-04-19 19:59:24 +08:00 4034 次点击
    这是一个创建于 544 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我用 ollama 本地玩了一下 llama 3 8b (ollama 支持的也太快了...这才多久啊)

    英文的话我觉得挺猛的... 回答的很漂亮,很明显比 mistral 7b 要强了,我试了几下也没什么问题,不过我测试的都是一些简单的问答,重点还是 rag, 使用工具和 agents 之类的。还记得去年 llama2 13b 时感觉那玩意儿挺傻的,后面还被 mistral 吊锤了,所以这次出 llama 3 的时候我还有些不屑一顾...

    lmsys 的 chatbot arena 中,llama 3 8b instruct 也干掉了 mistral medium, mixtral 8x7b, command R 35B ,还有 chatGPT 3.5 之类的模型(存疑),不过毕竟刚出,只有 1000 多张投票(其他模型基本都有个几万张票),结果还不准,要等排名稳定,但我目前感觉这玩意儿在 7b-13b 甚至是 30b 的赛道真的好像还不赖。

    考虑 llama 2 在开源社区巨大的影响力,考虑到有非常多模型都是基于 llama2 做的微调,很期待之后开源社区都能调出什么东西 (nsfw 咳咳咳咳咳咳)

    当然这东西应该没有支持中文,我测试了一下,中文翻译完全不行,用中文提问也会用英文答,很明显没有针对中文做训练。能理解中文怕不是语料库混了点中文吧... 真的要用中文肯定还得等中文的微调。(我其实不太懂那些用中文测试不支持中文的模型的家伙...)

    如果你想玩玩看的话,这里有几种方法:

    meta ai

    • meta 这次搞了个自己的聊天页面 (不过不知道具体用的是哪一个模型... 还有不知名的图像生成模型)

    chatbot arena

    • 去 lmsys 投票吧

    ollama

    • 一行命令在命令行下载并运行 llm ,现已支持 llama 3

    自己想办法

    12 条回复    2024-07-24 19:35:54 +08:00
    yueji
        1
    yueji  
       2024-04-19 21:38:37 +08:00

    就这?
    frankyzf
        2
    frankyzf  
       2024-04-19 21:43:51 +08:00
    @yueji 只问这一个问题估计不能评估模型的能力吧?个人感觉这种信息只要加入训练的数据集就可以了,体现不出来大模型的推理能力。个人意见。
    yueji
        3
    yueji  
       2024-04-19 21:45:03 +08:00
    确实不能评估模型的能力.
    但是也不能瞎编内容吧?
    Mithril
        4
    Mithril  
       2024-04-19 21:54:43 +08:00
    hn 的帖子说是和 wizard 2 8x22b 差不多的
    ivmm
        5
    ivmm  
       2024-04-19 22:23:30 +08:00
    @yueji 你问训练的时候没有训练的素材就会出现幻觉问题。

    人家压根就没去训练中文环境和中文内容
    mumbler
        6
    mumbler  
       2024-04-19 22:45:54 +08:00
    之前开源模型训练语料都是 2-3T ,因为 llama2 就是 2T 训练的,现在 llama3 训练数据达到 15T ,后面所有模型都是 15+T 了,llama 是基座,各种微调很快会出来,都会碾压 llama3 的
    t41372
        7
    t41372  
    OP
       2024-04-20 04:51:44 +08:00 via Android
    @yueji 这模型就没练中文,而且 8b 只有 2023 年三月以前的数据,这能不瞎编吗
    rqYzyAced2NbD8fw
        8
    rqYzyAced2NbD8fw  
       2024-04-20 05:50:42 +08:00
    @yueji 我感觉更像是你的问题

    ![]( )
    badbay
        9
    badbay  
       2024-04-20 11:11:19 +08:00
    大哥有部署教程吗,文档看不太懂啊
    t41372
        10
    t41372  
    OP
       2024-04-20 15:06:54 +08:00
    @badbay 去下一个 ollama, 然后命令行运行 `ollama run llama3`,完事
    badbay
        11
    badbay  
       2024-04-21 19:46:36 +08:00
    @t41372 谢谢,我试试
    kangfenmao
        12
    kangfenmao  
       2024-07-24 19:35:54 +08:00
    再给大家推荐一下我开发的 Ollama 桌面版客户端: https://hao.logosc.cn/p/3748
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3152 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 31ms UTC 00:33 PVG 08:33 LAX 17:33 JFK 20:33
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86