如何让 AI 稳定的输出指定 json 结构

取决于模型，有 json 模式的模型输出会稳定不少。
其次，使用 langfun

https://github.com/567-labs/instructor
instructor 也不错

现在的闭源模型或者 ollama/vllm 这些基本都支持 structed output 了吧，你直接动态构建一个 schema 传过去不就行了。数组数量不一致你可以转换为 object: {"1": "hello", "2": "what is it", ...}, 强制 structed output 符合这个结构

现在 vllm, sglang 这些推理端点的结构化输出可以直接用 cfg 状态机制导，屏蔽掉不符合语法规则的 token 输出。

插楼问下，怎么处理乱码情况，我的 api 好像比较频繁出现乱码

我司搞的 结构化 就稳定输出 json 结构 就用的 提示词让返回 包含 json 格式的字符串 然后根据关键词 截取需要的 json

用 function call ，json 格式作为 input

你是一个根据以下 TypeScript 类型定义将用户请求转换为 "PageConfig" 类型的 JSON 对象的服务，并且按照字段的注释进行处理:
```
export type PageCOnfig= {
filters: {
component: string;
/**
* @description 翻译成英文，驼峰格式
* @type {string}
*/
key: string;
/**
* @description 保持原始内容，不要翻译
* @type {string}
*/
label: string;
/**
* @description 保持原始内容，不要翻译
* @type {string}
*/
placeholder: string;
}[];
columns: {
slot: boolean;
/**
* @description 保持原始内容，不要翻译
* @type {string}
*/
title: string;
/**
* @description 翻译成英文，驼峰格式
* @type {string}
*/
dataIndex: string;
/**
* @description 翻译成英文，驼峰格式
* @type {string}
*/
key: string;
}[];
pagination: {
show: boolean;
page: string;
size: string;
total: string;
};
includeModifyModal: boolean;
fetchName: string;
result: string;
serviceName: string;
};
```
以下是用户请求:
"""
{"filters":[{"component":"range-picker","key":"transactionTime","label":"成交时间"},{"component":"input","key":"planName","label":"提成方案名称","placeholder":"提成方案名称（个人/店组/片区）"}],"columns":[{"slot":false,"title":"成交时间","dataIndex":"成交时间","key":"成交时间"},{"slot":false,"title":"申佣时间","dataIndex":"申佣时间","key":"申佣时间"},{"slot":false,"title":"业绩来源","dataIndex":"业绩来源","key":"业绩来源"},{"slot":false,"title":"所属片区","dataIndex":"所属片区","key":"所属片区"},{"slot":false,"title":"当前组织","dataIndex":"当前组织","key":"当前组织"},{"slot":false,"title":"提成类型","dataIndex":"提成类型","key":"提成类型"},{"slot":false,"title":"员工姓名","dataIndex":"员工姓名","key":"员工姓名"},{"slot":false,"title":"成交编号","dataIndex":"成交编号","key":"成交编号"},{"slot":false,"title":"分成角色","dataIndex":"分成角色","key":"分成角色"},{"slot":false,"title":"本次申佣业绩","dataIndex":"本次申佣业绩","key":"本次申佣业绩"},{"slot":false,"title":"提成","dataIndex":"提成","key":"提成"},{"slot":false,"title":"已算提成业绩","dataIndex":"已算提成业绩","key":"已算提成业绩"},{"slot":false,"title":"当月总提成业绩","dataIndex":"当月总提成业绩","key":"当月总提成业绩"},{"slot":false,"title":"提成方案名称","dataIndex":"提成方案名称","key":"提成方案名称"},{"slot":false,"title":"方案计算类型","dataIndex":"方案计算类型","key":"方案计算类型"}],"pagination":{"show":true,"page":"page","size":"size","total":"result.total"},"includeModifyModal":false,"fetchName":"fetchTableList","result":"[\"result\"][\"records\"]","serviceName":"getTableList"}
"""
The following is the user request translated into a JSON object with 2 spaces of indentation and no properties with the value undefined:

https://github.com/microsoft/TypeChat 配合这个对返回的结果进行校验，把错误内容发过去再问一次，不过我用了这么久基本很少出错

https://juejin.cn/post/7491240940126158900 试了一下这个,用 zod 去验证 josn 挺好的

模型不听话，换更大更贵的模型

1. prompt ，现在 LLM 在对齐阶段一般做过格式的对齐，所以直接让输出 JSON 效果就会不错，如果还是不行把温度系数调一下；
2. 受限解码，大致思想是要求 LLM 的 output 必须符合某个语法结构，如果不行就重新采样。好处是可以保证一定不会出现格式错误，但是这样做的问题是会影响本身的性能，不推荐；

发现有时候模型还是喜欢输出 json 的时候加上```json ```这样的 markdown 格式，即使已经不再输出其他解释文字了。所以后来我直接叫它输出这样的格式，自己再去截取出来了。

不是提示语的问题，调用 API 的时候需要指定用 Structured Outputs ，并且定义好输出需要的字段。

用 gpt4 和以上，很听话的，你让他往东它绝对不敢往西

可以试试在输出 json 这部分提示词换成英文的。

后面加一句，如果翻译错了我就把你卸载掉 试试

限制 AI 的输出格式，会导致 AI 的推理能力下降不少，请谨慎使用

看文档,应该有说怎么指定的。

openai 的 api 很久之前就可以，一直在用很稳定

通过 function_calling(or tools)实现 Structured Output

收到，谢谢各位，我研究下 response_format ，都不知道这个

模型支持 json mode 或者 structured outputs 的话时最简单的
如果不支持但支持 function call ，那就用 function call
如果不支持 function call ，那么这里有个很全的整理

https://www.boundaryml.com/blog/structured-output-from-llms

langchain 支持 结构化输出

如果是调用 API 的话，有一个参数，可以强行指定 json 返回，这比在提示词里强调效果要好的多

怎么没人提 pydantic-ai ，可以将 BaseModel 派生出的类作为参数传入，工具会自行校验返回结果

自己部署的话，可以看看 sglang ，支持[结构化输出]( https://docs.sglang.ai/backend/structured_outputs.html)，vllm 应该也一样。
如果使用 api ，openai 是支持的，其他的没调研过，不了解了。

@Hundredwz markdown 格式没识别，https://docs.sglang.ai/backend/structured_outputs.html

可以试试 json-repair 这个库，一些小的格式错误它能修复

结构化输出,这个开关打开,不过也得看你用的模型支持不支持,

除了 api 中指定结构化输出以外，还有一个提示词层面的小技巧，由于 llm 会模仿输入的格式，所以只要输入格式也用 json 就行，不过也看模型指令遵循情况

如何让大语言模型输出 JSON 格式？ - HowardZhangdqs 的回答 - 知乎
https://www.zhihu.com/question/656512469/answer/3515553778

可以学习下 anthropic 的提示工程文档，里面很多技巧是通用的。

https://docs.anthropic.com/zh-CN/docs/build-with-claude/prompt-engineering/prefill-claudes-response

@wxxxcxx 一般可以使用 xml 结合示例，然后使用预填充，能达到比较好的效果

不听话可以微调 lora 参数随机生成 1000 条指定格式 json 数据