奥特曼在推文中表示[1]应广大用户的需求(这里的用户应该特指开发者),OpenAI 将支持结构化输出。
对于吃瓜群众来说,有网友表示广大用户关心的问题是 GPT-5 和语音模式,不要试图愚弄人们[2]...。也有网友在下面继续回复 “不,结构化输出对于使用 LLM 进行可靠构建来说非常重要。”
图片
对于普通用户来讲,他们根本就不懂 JSON 格式,显然不需要关心,能通过自然语言进行交流就可以了。
如果做过程序员,应该知道模型的结构化输出对于程序是很重要的。因为程序的运行是结构化的,如果大模型能输出结构化的结果,我们就可以更好和程序相结合。
开发人员长期以来一直在通过开源工具、提示和反复重试请求来解决 LLM 在这方面的局限性,以确保模型输出符合与其系统互操作所需的格式。之前微软搞的开源项目 TypeSpec 也是来做类似的事情的。
OpenAI 在去年的 DevDay 上推出了 JSON 模式,但它不能保证模型的响应符合特定的架构。此次,OpenAI 推出的结构化输出是一项新功能[3],旨在确保模型生成的输出与开发人员提供的 JSON 架构完全匹配。
OpenAI 采用结构化输出的新模型是 gpt-4o-2024-08-06,对复杂 JSON 模式跟踪的评估中该模型获得了满分(100%),之前的 gpt-4-0613 得分不到 40%
图片
使用结构化输出的方式有两种:
1. 函数调用,通过设置 strict:true 参数,支持 gpt-4-0613 和 gpt-3.5-turbo-0613 及更高版本的模型
请求:
图片
响应:
图片
2. 新增 response_format 参数选项
请求:
图片
响应:
图片
原生支持 Node.js 和 Python SDK
OpenAI 提供的 Python 和 Node.js SDK 已更新,原生支持结构化输出。
例如,在 Node.js 中可以通过 Zod 这个库,来约束响应数据结构。如下所示:
import OpenAI from 'openai';
import z from 'zod';
import { zodFunction } from 'openai/helpers/zod';
const Table = z.enum(['orders', 'customers', 'products']);
const Column = z.enum([
'id',
'status',
'expected_delivery_date',
'delivered_at',
'shipped_at',
'ordered_at',
'canceled_at',
]);
const Operator = z.enum(['=', '>', '<', '<=', '>=', '!=']);
const OrderBy = z.enum(['asc', 'desc']);
const DynamicValue = z.object({
column_name: z.string(),
});
const Condition = z.object({
column: z.string(),
operator: Operator,
value: z.union([z.string(), z.number(), DynamicValue]),
});
const QueryArgs = z.object({
table_name: Table,
columns: z.array(Column),
conditions: z.array(Condition),
order_by: OrderBy,
});
const client = new OpenAI();
const completion = await client.beta.chat.completions.parse({
model: 'gpt-4o-2024-08-06',
messages: [
{ role: 'system', content: 'You are a helpful assistant. The current date is August 6, 2024. You help users query for the data they are looking for by calling the query function.' },
{ role: 'user', content: 'look up all my orders in may of last year that were fulfilled but not delivered on time' }
],
tools: [zodFunction({ name: 'query', parameters: QueryArgs })],
});
console.log(completion.choices[0].message.tool_calls[0].function.parsed_arguments);
参考资料
[1]奥特曼在推文中表示: https://x.com/sama/status/1820881534909300769
[2]有网友表示广大用户关心的问题是 GPT-5 和语音模式,不要试图愚弄人们: https://x.com/ai_for_success/status/1820883341748662513
[3]OpenAI 推出的结构化输出是一项新功能: https://openai.com/index/introducing-structured-outputs-in-the-api/