V2EX ranley123
 ranley123 最近的时间轴更新
ranley123

ranley123

V2EX 第 608115 号会员,加入于 2022-12-27 20:05:46 +08:00
ranley123 最近回复了
还有高并发下的推理调度策略等等,所涉及的工程技术非常多,我只是举个例子。也许现在你们做的 agent 或者还在小公司,觉得杀鸡焉用牛刀。但是多提前储备,跳槽到大公司会非常有用。
总结一下:
学历好:从基础技术出发,直接走训练或推理框架。
学历普通:从 agent 出发,向推理优化学习。如后训练微调技术,推理时长背景的语义压缩,kv cache 技术,etc 。之后一定是大模型的应用时代,如何推理得更便宜,更快, 一定是 agent 和应用工程师应该学习的东西
@jiangbingo 可以看下我最新的一条,如果是普通学历做 agent ,可以往推理技术靠靠
@BlAO 其实做 agent 也可以努力往推理靠靠,如何做到推理更快,需要的内存更少也是技术活,因为这个就需要你主动学习类似 kvcache 之类的技术,一点一点往大模型推理浸透,这样也属于加强了个人技术壁垒和业务深度,跟普通做做 agent 有本质区别。
@BlAO 其他方向说实话今年开始要求也非常高了,除了要求对应的基础架构非常专业,也需要对 LLM 有了解。但是还是比核心算法的要求没有那么逆天,不过至少都要 985 本了,top2 本博也很常见
@richarddingcn 框架基本不用想了,现在只有清北博士级别和妖孽硕士的才能进。其他的就按照正常的基础架构+LLM 知识学习找点实习吧
@richarddingcn 不止算子了,infra 包括高端的并行训练框架,算子优化,还有一系列分布式稳定性框架,LLM 故障检测和处理,LLM 存储 hdfs 优化和网络 NCCL 啥的,一大堆
或者自己写写 ai agent 以后找 agent 工作
@jiangbingo 外企大厂该不会是 ms 吧哈哈,如果是的话那就是前同事了。我觉得你可以学习一下大模型的原理,比如 transformer 和 attention 之类的,甚至包括一些推理的框架基本知识 kv cache 之类的,如果对训练感兴趣的话可以看看并行训练的基本框架,不过会比较困难。
@jiangbingo 是的,我赞同你的观点。所以新时代多往 AI 和大模型靠靠,是能够延长的,甚至还有机会远程。个人经验也是如此。自从我入了 LLM infra ,至少前景和钱景上都得到了爆炸式提升
关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5242 人在线   最高记录 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 14ms UTC 06:43 PVG 14:43 LAX 22:43 JFK 01:43
Do have faith in what you're doing.
ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86