Upstash 限速回调

在本指南中，我们将介绍如何使用 UpstashRatelimitHandler 添加基于请求数或令牌数的限速。此处理程序使用 Upstash 的 ratelimit 库，该库利用 Upstash Redis。

Upstash 限速通过在每次调用 limit 方法时向 Upstash Redis 发送 HTTP 请求来工作。用户的剩余令牌/请求将被检查和更新。根据剩余令牌，我们可以停止执行昂贵的操作，例如调用 LLM 或查询向量存储。

const response = await ratelimit.limit();
if (response.success) {
  execute_costly_operation();
}

UpstashRatelimitHandler 允许您在几分钟内将此限速逻辑整合到您的链中。

设置

首先，您需要访问 Upstash 控制台并创建一个 Redis 数据库（请参阅我们的文档）。创建数据库后，您需要设置环境变量

UPSTASH_REDIS_REST_URL="****"
UPSTASH_REDIS_REST_TOKEN="****"

接下来，您需要安装 Upstash Ratelimit 和 @langchain/community

提示

请参阅本节以获取有关安装集成包的常规说明。

npm
Yarn
pnpm

npm install @upstash/ratelimit @langchain/community

yarn add @upstash/ratelimit @langchain/community

pnpm add @upstash/ratelimit @langchain/community

您现在已准备好将限速添加到您的链中！

每请求限速

假设我们希望允许我们的用户每分钟调用我们的链 10 次。实现这一点非常简单，例如

const UPSTASH_REDIS_REST_URL = "****";
const UPSTASH_REDIS_REST_TOKEN = "****";

import {
  UpstashRatelimitHandler,
  UpstashRatelimitError,
} from "@langchain/community/callbacks/handlers/upstash_ratelimit";
import { RunnableLambda } from "@langchain/core/runnables";
import { Ratelimit } from "@upstash/ratelimit";
import { Redis } from "@upstash/redis";

// create ratelimit
const ratelimit = new Ratelimit({
  redis: new Redis({
    url: UPSTASH_REDIS_REST_URL,
    token: UPSTASH_REDIS_REST_TOKEN,
  }),
  // 10 requests per window, where window size is 60 seconds:
  limiter: Ratelimit.fixedWindow(10, "60 s"),
});

// create handler
const user_id = "user_id"; // should be a method which gets the user id
const handler = new UpstashRatelimitHandler(user_id, {
  requestRatelimit: ratelimit,
});

// create mock chain
const chain = new RunnableLambda({ func: (str: string): string => str });

try {
  const response = await chain.invoke("hello world", {
    callbacks: [handler],
  });
  console.log(response);
} catch (err) {
  if (err instanceof UpstashRatelimitError) {
    console.log("Handling ratelimit.");
  }
}

请注意，我们向 invoke 方法传递处理程序，而不是在定义链时传递处理程序。

对于除 FixedWindow 之外的其他限速算法，请参阅 upstash-ratelimit 文档。

在执行我们管道中的任何步骤之前，限速将检查用户是否已超过请求限制。如果是，则会引发 UpstashRatelimitError。

每令牌限速

另一个选择是根据以下内容限速链调用：

提示中的令牌数
提示和 LLM 完成中的令牌数

这仅在您的链中包含 LLM 时有效。另一个要求是您使用的 LLM 应在其 LLMOutput 中返回令牌使用情况。返回的令牌使用情况字典的格式取决于 LLM。要了解您应该根据您的 LLM 如何配置处理程序，请参阅以下配置部分的末尾。

工作原理

处理程序将在调用 LLM 之前获取剩余令牌。如果剩余令牌大于 0，则将调用 LLM。否则，将引发 UpstashRatelimitError。

调用 LLM 后，令牌使用情况信息将用于从用户的剩余令牌中减去。此时不会引发错误。

配置

对于第一个配置，只需像这样初始化处理程序

const user_id = "user_id"; // should be a method which gets the user id
const handler = new UpstashRatelimitHandler(user_id, {
  requestRatelimit: ratelimit,
});

对于第二个配置，以下是初始化处理程序的方法

const user_id = "user_id"; // should be a method which gets the user id
const handler = new UpstashRatelimitHandler(user_id, {
  tokenRatelimit: ratelimit,
});

您还可以通过同时传递 request_ratelimit 和 token_ratelimit 参数，同时根据请求和令牌进行限速。

为了使令牌使用情况正常工作，LangChain.js 中的 LLM 步骤应以以下格式返回令牌使用情况字段

{
  "tokenUsage": {
    "totalTokens": 123,
    "promptTokens": 456,
    "otherFields: "..."
  },
  "otherFields: "..."
}

然而，并非 LangChain.js 中的所有 LLM 都符合此格式。如果您的 LLM 使用不同的键返回相同的值，您可以通过将 llmOutputTokenUsageField、llmOutputTotalTokenField 和 llmOutputPromptTokenField 参数传递给处理程序来使用它们

const handler = new UpstashRatelimitHandler(
  user_id,
  {
    requestRatelimit: ratelimit
    llmOutputTokenUsageField: "usage",
    llmOutputTotalTokenField: "total",
    llmOutputPromptTokenField: "prompt"
  }
)

以下是一个使用 LLM 的链的示例

const UPSTASH_REDIS_REST_URL = "****";
const UPSTASH_REDIS_REST_TOKEN = "****";
const OPENAI_API_KEY = "****";

import {
  UpstashRatelimitHandler,
  UpstashRatelimitError,
} from "@langchain/community/callbacks/handlers/upstash_ratelimit";
import { RunnableLambda, RunnableSequence } from "@langchain/core/runnables";
import { OpenAI } from "@langchain/openai";
import { Ratelimit } from "@upstash/ratelimit";
import { Redis } from "@upstash/redis";

// create ratelimit
const ratelimit = new Ratelimit({
  redis: new Redis({
    url: UPSTASH_REDIS_REST_URL,
    token: UPSTASH_REDIS_REST_TOKEN,
  }),
  // 500 tokens per window, where window size is 60 seconds:
  limiter: Ratelimit.fixedWindow(500, "60 s"),
});

// create handler
const user_id = "user_id"; // should be a method which gets the user id
const handler = new UpstashRatelimitHandler(user_id, {
  tokenRatelimit: ratelimit,
});

// create mock chain
const asStr = new RunnableLambda({ func: (str: string): string => str });
const model = new OpenAI({
  apiKey: OPENAI_API_KEY,
});
const chain = RunnableSequence.from([asStr, model]);

// invoke chain with handler:
try {
  const response = await chain.invoke("hello world", {
    callbacks: [handler],
  });
  console.log(response);
} catch (err) {
  if (err instanceof UpstashRatelimitError) {
    console.log("Handling ratelimit.");
  }
}

Upstash 限速回调

设置

每请求限速

每令牌限速

工作原理

配置

本页是否有帮助？

您也可以在 GitHub 上留下详细的反馈在 GitHub 上.

Upstash 限速回调

设置​

每请求限速​

每令牌限速​

工作原理​

配置​

本页是否有帮助？

您也可以在 GitHub 上留下详细的反馈 在 GitHub 上.

设置

每请求限速

每令牌限速

工作原理

配置

您也可以在 GitHub 上留下详细的反馈在 GitHub 上.