哪个 rag 系统比较靠谱? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wencan
V2EX    OpenAI

哪个 rag 系统比较靠谱?

  •  
  •   wencan 2024-05-22 14:19:37 +08:00 2656 次点击
    这是一个创建于 505 天前的主题,其中的信息可能已经有所发展或是发生改变。

    之前在 DIFY 上测试了体检报告的效果,基本是个笑话。

    于是降低要求
    找了份科幻小说 txt 文件:猎户座防线

    上传到 DIFY 的知识库,配置都选默认
    模型有:chatgpt3.5 、月之暗面 v1 、glm4 、文心一言刚免费的 speed 。

    效果只举两个例子
    小说中反复提到“大副迪尔”,还有这么一段:

     “我来自丹那芭⑤”她说,“你知道那儿吗?” “不。” “它距离地球 1600 光年…… 

    问“丹那芭距离地球少光年?”,基本都能答对,这点我有点小惊讶。
    问“迪尔是什么职务”,居然都回答不知道或者说文中没提。

    不甘心,打开 kimi ,上传文件,问“迪尔是什么职务”,kimi 马上答上了

    第 1 条附言    2024-05-23 17:12:17 +08:00
    dify 上换上 https://github.com/netease-youdao/BCEmbedding 的 embedding 和 rerank 模型,效果杠杠的
    第 2 条附言    2024-06-20 09:46:51 +08:00
    已经投奔 llamaindex
    第 3 条附言    348 天前
    已经全自己撸了
    14 条回复    2024-10-27 00:04:40 +08:00
    Solix
        1
    Solix  
       2024-05-22 14:24:50 +08:00 via iPhone
    fastgpt 效果好
    nnqijiu
        2
    nnqijiu  
       2024-05-22 15:11:39 +08:00
    WPS AI 的 rag 不错,不过好像收费了
    xenoblade
        3
    xenoblade  
       2024-05-22 16:00:20 +08:00
    我认为这个例子其实应该归类为“RAG VS 长上下文”,恰恰说明了长上下文在有限信息的 QA 中完胜 RAG 。
    目前 langchain 系的 通用 RAG 系统上限就在那里了,要想达到更高的精确度需要对不同领域进行微调,例如例子中读书场景的 prompt 优化、chunk 分割的人工干预。
    wencan
        4
    wencan  
    OP
       2024-05-23 17:13:01 +08:00
    @xenoblade rag 也属于上下文
    dify 上换上 https://github.com/netease-youdao/BCEmbedding 的 embedding 和 rerank 模型,效果杠杠的
    butterls
        5
    butterls  
       2024-05-27 01:15:39 +08:00 via Android
    主要是只有切片会丢失上下文,RAG 里要存的实际是类似知识图谱的上下文数据,比如你要做代码仓分析,rag 就能查到函数块,上下文引用,宏定义啥的都米有,那分析结果就跟个二傻子一样
    codingbody
        6
    codingbody  
       2024-06-19 17:37:07 +08:00
    @wencan #4 dify 上配置 bce 的 embedding rerank ,这两个模型需要自己部署吧?
    wencan
        7
    wencan  
    OP
       2024-06-20 09:46:34 +08:00
    fakecoder
        8
    fakecoder  
       2024-06-25 11:15:03 +08:00
    op 用 llamaindex 感觉咋样
    wencan
        9
    wencan  
    OP
       2024-06-25 11:16:09 +08:00
    @fakecoder 1. 代码质量很差 2. 还没到 1.0
    fakecoder
        10
    fakecoder  
       2024-06-25 11:27:16 +08:00
    @wencan #9 后来为啥不用 dify 了,现在还在用 llamaindex 吗?
    wencan
        11
    wencan  
    OP
       2024-06-25 11:32:56 +08:00
    @fakecoder dify 太弱了,适合给不会写代码的人做玩具
    llamaindex 虽然问题多多,但相比之下,还是能解决问题
    fakecoder
        12
    fakecoder  
       2024-06-25 14:20:12 +08:00
    @wencan #11 好的,感谢解答
    ccxuy
        13
    ccxuy  
       349 天前
    @wencan 有没有参考材料? 我们也想做个内部知识库,简单搞了下 dify 发现召回率太差了
    wencan
        14
    wencan  
    OP
       348 天前
    @ccxuy 建议先照着 llamaindex ,自己写着试试。如果还是不能满足需求,跟我一样,自己撸吧
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5837 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 34ms UTC 02:24 PVG 10:24 LAX 19:24 JFK 22:24
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86