如何跟踪令牌使用情况

先决条件

本指南假设您熟悉以下概念

• LLM

此笔记本介绍了如何跟踪特定 LLM 调用的令牌使用情况。这仅由某些提供商（包括 OpenAI）实现。

以下是如何通过回调跟踪单个 LLM 调用的令牌使用情况的示例

提示

查看此部分以获取有关安装集成包的通用说明。

npm

npm install @langchain/openai

Yarn

yarn add @langchain/openai

pnpm

pnpm add @langchain/openai

import { OpenAI } from "@langchain/openai";

const llm = new OpenAI({
  model: "gpt-3.5-turbo-instruct",
  callbacks: [
    {
      handleLLMEnd(output) {
        console.log(JSON.stringify(output, null, 2));
      },
    },
  ],
});

await llm.invoke("Tell me a joke.");

/*
  {
    "generations": [
      [
        {
          "text": "\n\nWhy don't scientists trust atoms?\n\nBecause they make up everything.",
          "generationInfo": {
            "finishReason": "stop",
            "logprobs": null
          }
        }
      ]
    ],
    "llmOutput": {
      "tokenUsage": {
        "completionTokens": 14,
        "promptTokens": 5,
        "totalTokens": 19
      }
    }
  }
*/

API 参考

• OpenAI 来自 @langchain/openai

如果此模型传递给多次调用的链或代理，它将在每次调用时记录一个输出。

下一步

您现在已经了解了如何获取支持的 LLM 提供商的令牌使用情况。

接下来，查看本节中的其他操作指南，例如如何实现您自己的自定义 LLM。