跳到主要内容

如何将运行时值传递给工具

先决条件

本指南假定您熟悉以下概念

支持的模型

本操作指南使用具有原生工具调用功能的模型。您可以在支持工具调用的所有模型列表中找到。

您可能需要将值绑定到仅在运行时才已知的工具。例如，工具逻辑可能需要使用发出请求的用户的 ID。

大多数情况下，此类值不应由 LLM 控制。实际上，允许 LLM 控制用户 ID 可能会导致安全风险。

相反，LLM 应仅控制工具的参数，这些参数旨在由 LLM 控制，而其他参数（例如用户 ID）应由应用程序逻辑固定。

选择您的聊天模型

安装依赖项

提示

请参阅 本节了解有关安装集成包的常规说明.

yarn add @langchain/groq

添加环境变量

GROQ_API_KEY=your-api-key

实例化模型

import { ChatGroq } from "@langchain/groq";

const llm = new ChatGroq({
  model: "llama-3.3-70b-versatile",
  temperature: 0
});

使用上下文变量​

兼容性

此功能在 @langchain/core>=0.3.10 中添加。如果您在项目中使用单独的 LangSmith SDK，我们还建议升级到 langsmith>=0.1.65。请确保您的软件包是最新的。

它还需要 async_hooks 支持，并非所有环境都支持此功能。

解决此问题的一种方法是使用上下文变量。上下文变量是一项强大的功能，允许您在应用程序的更高级别设置值，然后在从该级别调用的子 Runnable（例如工具）中访问这些值。

它们在传统作用域规则之外工作，因此您无需直接引用声明的变量即可访问其值。

下面，我们声明一个工具，该工具基于名为 userId 的上下文变量更新中央 userToPets 状态。请注意，此 userId 不是工具模式或输入的一部分

import { z } from "zod";
import { tool } from "@langchain/core/tools";
import { getContextVariable } from "@langchain/core/context";

let userToPets: Record<string, string[]> = {};

const updateFavoritePets = tool(
  async (input) => {
    const userId = getContextVariable("userId");
    if (userId === undefined) {
      throw new Error(
        `No "userId" found in current context. Remember to call "setContextVariable('userId', value)";`
      );
    }
    userToPets[userId] = input.pets;
    return "update_favorite_pets called.";
  },
  {
    name: "update_favorite_pets",
    description: "add to the list of favorite pets.",
    schema: z.object({
      pets: z.array(z.string()),
    }),
  }
);

如果您在更高级别设置上下文变量之前调用上述工具，则 userId 将为 undefined

await updateFavoritePets.invoke({ pets: ["cat", "dog"] });
Error: No "userId" found in current context. Remember to call "setContextVariable('userId', value)";
    at updateFavoritePets.name (evalmachine.<anonymous>:14:15)
    at /Users/jacoblee/langchain/langchainjs/langchain-core/dist/tools/index.cjs:329:33
    at AsyncLocalStorage.run (node:async_hooks:346:14)
    at AsyncLocalStorageProvider.runWithConfig (/Users/jacoblee/langchain/langchainjs/langchain-core/dist/singletons/index.cjs:58:24)
    at /Users/jacoblee/langchain/langchainjs/langchain-core/dist/tools/index.cjs:325:68
    at new Promise (<anonymous>)
    at DynamicStructuredTool.func (/Users/jacoblee/langchain/langchainjs/langchain-core/dist/tools/index.cjs:321:20)
    at DynamicStructuredTool._call (/Users/jacoblee/langchain/langchainjs/langchain-core/dist/tools/index.cjs:283:21)
    at DynamicStructuredTool.call (/Users/jacoblee/langchain/langchainjs/langchain-core/dist/tools/index.cjs:111:33)
    at async evalmachine.<anonymous>:3:22

相反，设置一个上下文变量，其父级是调用工具的位置

import { setContextVariable } from "@langchain/core/context";
import { BaseChatModel } from "@langchain/core/language_models/chat_models";
import { RunnableLambda } from "@langchain/core/runnables";

const handleRunTimeRequestRunnable = RunnableLambda.from(
  async (params: { userId: string; query: string; llm: BaseChatModel }) => {
    const { userId, query, llm } = params;
    if (!llm.bindTools) {
      throw new Error("Language model does not support tools.");
    }
    // Set a context variable accessible to any child runnables called within this one.
    // You can also set context variables at top level that act as globals.
    setContextVariable("userId", userId);
    const tools = [updateFavoritePets];
    const llmWithTools = llm.bindTools(tools);
    const modelResponse = await llmWithTools.invoke(query);
    // For simplicity, skip checking the tool call's name field and assume
    // that the model is calling the "updateFavoritePets" tool
    if (modelResponse.tool_calls.length > 0) {
      return updateFavoritePets.invoke(modelResponse.tool_calls[0]);
    } else {
      return "No tool invoked.";
    }
  }
);

当我们的方法调用工具时，您将看到该工具正确访问了先前设置的 userId 上下文变量并成功运行

await handleRunTimeRequestRunnable.invoke({
  userId: "brace",
  query: "my favorite animals are cats and parrots.",
  llm: llm,
});
ToolMessage {
  "content": "update_favorite_pets called.",
  "name": "update_favorite_pets",
  "additional_kwargs": {},
  "response_metadata": {},
  "tool_call_id": "call_vsD2DbSpDquOtmFlOtbUME6h"
}

并且还使用与我们传递的 userId 匹配的键 "brace" 更新了 userToPets 对象

console.log(userToPets);
{ brace: [ 'cats', 'parrots' ] }

不使用上下文变量​

如果您使用的是早期版本的 core 或不支持 async_hooks 的环境，则可以使用以下设计模式，该模式在运行时动态创建工具并将其绑定到适当的值。

其思想是在请求时动态创建工具，并将其绑定到适当的信息。例如，此信息可以是根据请求本身解析的用户 ID。

import { z } from "zod";
import { tool } from "@langchain/core/tools";

userToPets = {};

function generateToolsForUser(userId: string) {
  const updateFavoritePets = tool(
    async (input) => {
      userToPets[userId] = input.pets;
      return "update_favorite_pets called.";
    },
    {
      name: "update_favorite_pets",
      description: "add to the list of favorite pets.",
      schema: z.object({
        pets: z.array(z.string()),
      }),
    }
  );
  // You can declare and return additional tools as well:
  return [updateFavoritePets];
}

验证工具是否正常工作

const [updatePets] = generateToolsForUser("cobb");

await updatePets.invoke({ pets: ["tiger", "wolf"] });

console.log(userToPets);
{ cobb: [ 'tiger', 'wolf' ] }
import { BaseChatModel } from "@langchain/core/language_models/chat_models";

async function handleRunTimeRequest(
  userId: string,
  query: string,
  llm: BaseChatModel
): Promise<any> {
  if (!llm.bindTools) {
    throw new Error("Language model does not support tools.");
  }
  const tools = generateToolsForUser(userId);
  const llmWithTools = llm.bindTools(tools);
  return llmWithTools.invoke(query);
}

此代码将允许 LLM 调用工具，但 LLM 不知道 用户 ID 甚至存在。您可以看到 user_id 不在 LLM 生成的参数中

const aiMessage = await handleRunTimeRequest(
  "cobb",
  "my favorite pets are tigers and wolves.",
  llm
);
console.log(aiMessage.tool_calls[0]);
{
  name: 'update_favorite_pets',
  args: { pets: [ 'tigers', 'wolves' ] },
  type: 'tool_call',
  id: 'call_FBF4D51SkVK2clsLOQHX6wTv'
}
提示

单击此处查看上述运行的 LangSmith 跟踪。

提示

聊天模型仅输出调用工具的请求。它们实际上并不调用底层工具。

要了解如何调用工具，请参阅如何使用模型调用工具。

此页对您有帮助吗？


您也可以留下详细的反馈 在 GitHub 上.