结构化输出

概述

对于许多应用程序，例如聊天机器人，模型需要直接以自然语言回复用户。但是，在某些情况下，我们需要模型以结构化格式输出。例如，我们可能希望将模型输出存储在数据库中，并确保输出符合数据库模式。这种需求促使了结构化输出的概念，即可以指示模型以特定的输出结构进行响应。

关键概念

(1) 模式定义： 输出结构表示为模式，可以通过多种方式定义。 (2) 返回结构化输出： 模型被赋予此模式，并被指示返回符合该模式的输出。

推荐用法

此伪代码说明了使用结构化输出时的推荐工作流程。 LangChain 提供了一种方法 withStructuredOutput()，该方法自动执行将模式绑定到 模型 和解析输出的过程。此辅助函数适用于所有支持结构化输出的模型提供商。

// Define schema
const schema = { foo: "bar" };
// Bind schema to model
const modelWithStructure = model.withStructuredOutput(schema);
// Invoke the model to produce structured output that matches the schema
const structuredOutput = await modelWithStructure.invoke(userInput);

模式定义

中心概念是模型响应的输出结构需要以某种方式表示。虽然您可以使用的对象类型取决于您正在使用的模型，但在 TypeScript 中，通常允许或推荐用于结构化输出的常见对象类型。

结构化输出最简单和最常见的格式是 Zod 模式定义

import { z } from "zod";

const ResponseFormatter = z.object({
  answer: z.string().describe("The answer to the user's question"),
  followup_question: z
    .string()
    .describe("A followup question the user could ask"),
});

您还可以定义 JSONSchema 对象，Zod 模式在内部转换为 JSONSchema 对象，然后再发送给模型提供商

{
  "$schema": "https://json-schema.fullstack.org.cn/draft/2020-12/schema",
  "$id": "https://example.com/product.schema.json",
  "title": "ResponseFormatter",
  "type": "object",
  "properties": {
    "answer": {
      "description": "The answer to the user's question",
      "type": "string"
    },
    "followup_question": {
      "description": "A followup question the user could ask",
      "type": "string"
    }
  },
  "required": ["answer", "followup_question"]
}

返回结构化输出

定义了模式后，我们需要一种方法来指示模型使用它。虽然一种方法是将此模式包含在提示中并礼貌地要求模型使用它，但这并不推荐。有几种更强大的方法可以利用模型提供商 API 中的原生功能。

使用工具调用

许多 模型提供商支持 工具调用，这是一个在我们的 工具调用指南 中更详细讨论的概念。简而言之，工具调用涉及将工具绑定到模型，并且在适当的时候，模型可以决定调用此工具并确保其响应符合工具的模式。考虑到这一点，中心概念很简单：使用我们的模式创建一个工具并将其绑定到模型！ 这是一个使用上面定义的 ResponseFormatter 模式的示例

import { ChatOpenAI } from "@langchain/openai";

const model = new ChatOpenAI({
  modelName: "gpt-4",
  temperature: 0,
});

// Create a tool with ResponseFormatter as its schema.
const responseFormatterTool = tool(async () => {}, {
  name: "responseFormatter",
  schema: ResponseFormatter,
});

// Bind the created tool to the model
const modelWithTools = model.bindTools([responseFormatterTool]);

// Invoke the model
const aiMsg = await modelWithTools.invoke(
  "What is the powerhouse of the cell?"
);

JSON 模式

除了工具调用之外，一些模型提供商还支持一个名为 JSON 模式 的功能。这支持 JSON 模式定义作为输入，并强制模型生成符合规范的 JSON 输出。您可以在 此处 找到支持 JSON 模式的模型提供商表格。以下是如何将 JSON 模式与 OpenAI 一起使用的示例

import { ChatOpenAI } from "@langchain/openai";

const model = new ChatOpenAI({
  model: "gpt-4",
}).bind({
  response_format: { type: "json_object" },
});

const aiMsg = await model.invoke(
  "Return a JSON object with key 'random_nums' and a value of 10 random numbers in [0-99]"
);
console.log(aiMsg.content);
// Output: {
//   "random_nums": [23, 47, 89, 15, 34, 76, 58, 3, 62, 91]
// }

一个需要强调的重点：模型仍然返回一个字符串，该字符串需要解析为 JSON 对象。当然，如果需要更高级的功能，可以简单地使用 json 库或 JSON 输出解析器。有关更多详细信息，请参阅关于 JSON 输出解析器的操作指南。

import json
const jsonObject = JSON.parse(aiMsg.content)
// {'random_ints': [23, 47, 89, 15, 34, 76, 58, 3, 62, 91]}

结构化输出方法

使用上述方法生成结构化输出时，存在一些挑战

(1) 如果使用工具调用，则需要将工具调用参数从对象解析回原始模式。

(2) 此外，当我们想要强制结构化输出时，需要指示模型始终使用该工具，这是一个提供商特定的设置。

(3) 如果使用 JSON 模式，则需要将输出解析为 JSON 对象。

考虑到这些挑战，LangChain 提供了一个辅助函数 (withStructuredOutput()) 来简化该过程。

这既将模式作为工具绑定到模型，又将输出解析为指定的输出模式。

// Bind the schema to the model
const modelWithStructure = model.withStructuredOutput(ResponseFormatter);
// Invoke the model
const structuredOutput = await modelWithStructure.invoke(
  "What is the powerhouse of the cell?"
);
// Get back the object
console.log(structuredOutput);
// { answer: "The powerhouse of the cell is the mitochondrion. Mitochondria are organelles that generate most of the cell's supply of adenosine triphosphate (ATP), which is used as a source of chemical energy.", followup_question: "What is the function of ATP in the cell?" }

[进一步阅读]

有关使用方法的更多详细信息，请参阅我们的 操作指南。