如何处理工具错误

前提条件

本指南假设您熟悉以下概念

• 聊天模型
• LangChain 工具
• 如何使用模型调用工具

使用 LLM 调用工具并非完美。模型可能会尝试调用不存在的工具，或者未能返回与请求的模式匹配的参数。诸如保持模式简单、减少一次传递的工具数量以及使用好的名称和描述等策略可以帮助缓解这种风险，但并非万无一失。

本指南介绍了一些在链中构建错误处理以缓解这些故障模式的方法。

链

假设我们有以下（虚拟）工具和工具调用链。我们将有意使我们的工具变得复杂，以尝试难倒模型。

import { z } from "zod";
import { ChatOpenAI } from "@langchain/openai";
import { tool } from "@langchain/core/tools";

const llm = new ChatOpenAI({
  model: "gpt-3.5-turbo-0125",
  temperature: 0,
});

const complexTool = tool(
  async (params) => {
    return params.int_arg * params.float_arg;
  },
  {
    name: "complex_tool",
    description: "Do something complex with a complex tool.",
    schema: z.object({
      int_arg: z.number(),
      float_arg: z.number(),
      number_arg: z.object({}),
    }),
  }
);

const llmWithTools = llm.bindTools([complexTool]);

const chain = llmWithTools
  .pipe((message) => message.tool_calls?.[0].args)
  .pipe(complexTool);

我们可以看到，当我们尝试调用此链时，模型未能正确调用该工具

await chain.invoke("use complex tool. the args are 5, 2.1, potato");

Error: Received tool input did not match expected schema

Try/except 工具调用

更优雅地处理错误的最简单方法是 try/except 工具调用步骤，并在错误时返回有用的消息

const tryExceptToolWrapper = async (input, config) => {
  try {
    const result = await complexTool.invoke(input);
    return result;
  } catch (e) {
    return `Calling tool with arguments:\n\n${JSON.stringify(
      input
    )}\n\nraised the following error:\n\n${e}`;
  }
};

const chainWithTools = llmWithTools
  .pipe((message) => message.tool_calls?.[0].args)
  .pipe(tryExceptToolWrapper);

const res = await chainWithTools.invoke(
  "use complex tool. the args are 5, 2.1, potato"
);

console.log(res);

Calling tool with arguments:

{"int_arg":5,"float_arg":2.1,"number_arg":"potato"}

raised the following error:

Error: Received tool input did not match expected schema

回退

我们还可以尝试在工具调用错误时回退到更好的模型。在这种情况下，我们将回退到使用 gpt-4-1106-preview 而不是 gpt-3.5-turbo 的相同链。

const badChain = llmWithTools
  .pipe((message) => message.tool_calls?.[0].args)
  .pipe(complexTool);

const betterModel = new ChatOpenAI({
  model: "gpt-4-1106-preview",
  temperature: 0,
}).bindTools([complexTool]);

const betterChain = betterModel
  .pipe((message) => message.tool_calls?.[0].args)
  .pipe(complexTool);

const chainWithFallback = badChain.withFallbacks([betterChain]);

await chainWithFallback.invoke("use complex tool. the args are 5, 2.1, potato");

10.5

查看此链运行的 LangSmith 追踪，我们可以看到第一个链调用按预期失败，而回退成功了。

下一步

现在您已经了解了一些处理工具调用错误的策略。接下来，您可以了解更多关于如何使用工具的信息

• 使用工具的少量 Prompting （使用工具进行少量示例）
• 流式处理 工具调用
• 将 运行时值传递给工具

您还可以查看一些更具体的工具调用用法

• 从模型获取结构化输出