如何追踪令牌使用量

先决条件

本指南假定您熟悉以下概念

• LLMs

本笔记本介绍了如何追踪特定 LLM 调用的令牌使用量。这仅由部分提供商实现，包括 OpenAI。

以下是通过回调追踪单个 LLM 调用的令牌使用量的示例

提示

请参阅此部分，了解有关安装集成包的通用说明。

npm

npm install @langchain/openai @langchain/core

Yarn

yarn add @langchain/openai @langchain/core

pnpm

pnpm add @langchain/openai @langchain/core

import { OpenAI } from "@langchain/openai";

const llm = new OpenAI({
  model: "gpt-3.5-turbo-instruct",
  callbacks: [
    {
      handleLLMEnd(output) {
        console.log(JSON.stringify(output, null, 2));
      },
    },
  ],
});

await llm.invoke("Tell me a joke.");

/*
  {
    "generations": [
      [
        {
          "text": "\n\nWhy don't scientists trust atoms?\n\nBecause they make up everything.",
          "generationInfo": {
            "finishReason": "stop",
            "logprobs": null
          }
        }
      ]
    ],
    "llmOutput": {
      "tokenUsage": {
        "completionTokens": 14,
        "promptTokens": 5,
        "totalTokens": 19
      }
    }
  }
*/

API 参考

• OpenAI 来自 @langchain/openai

如果此模型被传递给多次调用它的链或代理，它将每次记录一个输出。

下一步

您现在已经了解了如何获取受支持的 LLM 提供商的令牌使用情况。

接下来，查看本节中的其他操作指南，例如如何实现您自己的自定义 LLM。