V2EX frandy 的所有回复 第 1 页 / 共 8 页
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX    frandy    全部回复第 1 页 / 共 8 页
回复总数  158
1  2  3  4  5  6  7  8  
BzNWqv 感谢大佬
??
我能想到的训练流程应该包括哪些方面的成本:
1 、硬件成本( GPU )
2 、人力成本(虽然有很多数据,但是喂给模的数据需要进行整理)
3 、维护成本(肯定要迭代更新吧)
都预算不限了,那就看在这个垂类行业效果了,一开始训练一个参数集小的垂类模型,试试水,根据具体业务情况进行调整,觉得不错了,再扩大数据集。
我们公司就是一体机,最便宜的那种,模型能力就是幼儿园水平。没什么好让领导打消的,要做好模型的选型,比如你百炼用的满血的,自己部署,用的量化的,出来效果不好,那是你的问题,所以前期做好自己运维大模型的能力。换个角度想想,自己的技能数有多点亮了几个,外加现在招聘市场对 AI 这种渴求度,自己的不满也就打消了。
巧了,仅一个月就在弄这样的产品,首先罗列下相关的开源项目
https://github.com/tencentmusic/supersonic 腾讯音乐出的 chatbi,结合 llm 和 bi 能力,看完源码,你会发现,是先通过传统的 bi 进行语义匹配,然后仍给 llm 做处理,减少模型的幻觉产生
https://github.com/eosphoros-ai/DB-GPT 核心是它的提示词,核心是它的提示词,核心是它的提示词,可以得到图表
https://github.com/CodePhiliaX/Chat2DB 开源版就是挂羊头卖狗肉,广告做的好
好了,说了那么多,就是 Text2Sql 的本质就是大模型自身的能力,
我们能做的是
1 、在喂给大模型之前,做一些语义处理,然后大模型生成 sql 之后,对 sql 进行校正,这一块,又可以让大模型来校正,反复迭代
2 、表结构不要有歧义性,关联的 id 等需要明确表明是哪个表的哪个字段,这样处理之后,32b 参数量的模型,至少能准确生成 2-3 张表关联的 sql 语句
3 、引入 rag,可以把 ddl 的信息做成 rag ,然后先进行相似度匹配,然后得到对应的相关表结构信息,最后生成 sql.
4 、切分场景,不要一把梭把所有表结构信息都仍给大模型,大模型也扛不住,尽量切分场景,场景的识别也可以依靠大模型,专业术语叫意图识别
5 、指令型的大模型比推理型的速度要高,但是出的结果不一定准确,可以结合使用。
至于 mcp,emm,别太神话。追根到对应的某个 mcp 服务器的相关源码,其实还是上面那些
以上就是我近一个月开发此类产品的最大体会。
ps:这种类型的需求,领导是最喜欢的,但是,mmp 的这种需求,你必须得知道你的数据库里有哪些信息的数据,所以就等于领导要有提问的艺术,而这,是领导缺乏的。so,做此类需求,只能尽人事,听天命,懂甩锅,会报命。
211 天前
回复了 Amose2024 创建的主题 职场话题 是我老了,还是新同事很牛?
Talk is cheap, Show me the code.
这周会很忙,毕竟 ds 天天开源,哈哈哈哈
@frandy #21 迅雷没问题
之前因为这个问题写了个脚本,集成 aria2 还有点问题,没问题
https://github.com/readmagic/hx
希望能帮到你
在 2020 年左右用过一段时间反应式编程,不推荐用来写业务,复杂的页面,跟意大利面条一样,各种 flatmap,一个简单的获取都需要花很大功夫来弄,当时用的是还是 rxjava,就很难受.最后那个项目维护太复杂了.
之后归纳总结,考虑了下适用的场景,反应式编程在前端可能更合适,防止页面或者窗口阻塞,然后流式的传输,中间做桥进行转接也不错,类似楼上说的网关.
早前流行 FP,现在是 OOP+FP,怎么好维护怎么来,因为现实业务没有纯函数,而且 FP 里面好多概念无法理解,比如函子(Functor)、适用函子(Applicative)、单子(Monad),一听名词就觉得好高大上,哈哈哈哈哈
2024-04-19 12:35:40 +08:00
回复了 feather12315 创建的主题 分享发现 AI 是个好东西,但没想想得那么好
了解一下 AI agent
2024-03-14 11:10:42 +08:00
回复了 onezmin 创建的题 分享发现 隔壁论坛看到的, 666
上网找快乐
找到快乐线下见面
见面后发展下一代
发展完被请去喝茶
喝茶期间聊发展下一代的细节
聊完请去小黑屋坐客
一坐就是一辈子

这是一个悲伤的故事
这年头,学习还得靠自己,多买两本书,多看看视频,找个社区一起讨论,都比找人教强
2023-08-24 10:47:23 +08:00
回复了 tmtstudio 创建的主题 程序员 大佬们来试试我的前端加密强度
@webbillion #44 36 楼已经给出了库了,我在我的项目里实验有效,https://readmagic.github.io
2023-08-02 13:49:05 +08:00
回复了 frandy 创建的主题 上海 金山蟠桃,自家种的,小本经营,限上海地区发货
@madewocao #9 不常驾车,不懂啥叫索马里道路,平时工作就是金山闵行徐汇跑的
2023-08-02 13:46:20 +08:00
回复了 frandy 创建的主题 上海 金山蟠桃,自家种的,小本经营,限上海地区发货
@xuqiccr #8 都有,发货的话,发脆的,软的路上颠簸容易坏
2023-08-01 18:37:26 +08:00
回复了 frandy 创建的主题 上海 金山蟠桃,自家种的,小本经营,限上海地区发货
@HanMeiM #2
对,这种学名叫玉露蟠桃吧,我们家这边人叫王母蟠桃
1  2  3  4  5  6  7  8  
关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3788 人在线   最高记录 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 38ms UTC 00:52 PVG 08:52 LAX 17:52 JFK 20:52
Do have faith in what you're doing.
ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86