这是一个创建于 231 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前有一些算力做支撑，场景是几百万的 json 数据需要交给大模型做校验，依据一些业务规则让模型来判断数据是否符合标准。 想请教一下各位大佬们，这种场景下业务系统调用大模型传递数据，相比于一条一条调用，如果批量的把数据给到模型会影响准确率吗，因为现在测试下来几百万的数据一条一条调用解析确实太慢
 | 1 NoOneNoBody 230 天前 什么模型？ 模型支持批量当然就用批量，不支持那也是白搭，只能自己写个并发 |
 | 2 Suinn OP @NoOneNoBody 目前用的 deepseek ，主要还是担心批量给到模型后会影响输出质量 |
 | 3 adgfr32 230 天前 via Android DeepSeek 我记得是不支持 Batch API 的，应该不就是充点钱，然后狠狠的打他的接口么。 |
Select Language