跳到主要内容

如何缓存聊天模型响应

先决条件

本指南假设您熟悉以下概念

LangChain 为聊天模型提供了一个可选的缓存层。这在两个方面很有用

如果您经常多次请求相同的补全，它可以减少您对 LLM 提供商的 API 调用次数，从而节省资金。 它可以减少您对 LLM 提供商的 API 调用次数，从而加快您的应用程序速度。

import { ChatOpenAI } from "@langchain/openai";

// To make the caching really obvious, lets use a slower model.
const model = new ChatOpenAI({
  model: "gpt-4",
  cache: true,
});

内存缓存​

默认缓存存储在内存中。这意味着如果您重新启动应用程序，缓存将被清除。

console.time();

// The first time, it is not yet in cache, so it should take longer
const res = await model.invoke("Tell me a joke!");
console.log(res);

console.timeEnd();

/*
  AIMessage {
    lc_serializable: true,
    lc_kwargs: {
      content: "Why don't scientists trust atoms?\n\nBecause they make up everything!",
      additional_kwargs: { function_call: undefined, tool_calls: undefined }
    },
    lc_namespace: [ 'langchain_core', 'messages' ],
    content: "Why don't scientists trust atoms?\n\nBecause they make up everything!",
    name: undefined,
    additional_kwargs: { function_call: undefined, tool_calls: undefined }
  }
  default: 2.224s
*/
console.time();

// The second time it is, so it goes faster
const res2 = await model.invoke("Tell me a joke!");
console.log(res2);

console.timeEnd();
/*
  AIMessage {
    lc_serializable: true,
    lc_kwargs: {
      content: "Why don't scientists trust atoms?\n\nBecause they make up everything!",
      additional_kwargs: { function_call: undefined, tool_calls: undefined }
    },
    lc_namespace: [ 'langchain_core', 'messages' ],
    content: "Why don't scientists trust atoms?\n\nBecause they make up everything!",
    name: undefined,
    additional_kwargs: { function_call: undefined, tool_calls: undefined }
  }
  default: 181.98ms
*/

使用 Redis 缓存​

LangChain 还提供了基于 Redis 的缓存。如果您想在多个进程或服务器之间共享缓存，这将非常有用。要使用它，您需要安装 redis 包

npm install ioredis @langchain/community @langchain/core

然后，您可以在实例化 LLM 时传递 cache 选项。例如

import { ChatOpenAI } from "@langchain/openai";
import { Redis } from "ioredis";
import { RedisCache } from "@langchain/community/caches/ioredis";

const client = new Redis("redis://127.0.0.1:6379");

const cache = new RedisCache(client, {
  ttl: 60, // Optional key expiration value
});

const model = new ChatOpenAI({ cache });

const response1 = await model.invoke("Do something random!");
console.log(response1);
/*
  AIMessage {
    content: "Sure! I'll generate a random number for you: 37",
    additional_kwargs: {}
  }
*/

const response2 = await model.invoke("Do something random!");
console.log(response2);
/*
  AIMessage {
    content: "Sure! I'll generate a random number for you: 37",
    additional_kwargs: {}
  }
*/

await client.disconnect();

API 参考

使用 Upstash Redis 缓存​

LangChain 提供了基于 Upstash Redis 的缓存。与基于 Redis 的缓存一样，如果您想在多个进程或服务器之间共享缓存，此缓存非常有用。 Upstash Redis 客户端使用 HTTP 并支持边缘环境。要使用它，您需要安装 @upstash/redis 包

npm install @upstash/redis

您还需要一个 Upstash 帐户 和一个 Redis 数据库 来连接。完成这些操作后，检索您的 REST URL 和 REST 令牌。

然后，您可以在实例化 LLM 时传递 cache 选项。例如

import { ChatOpenAI } from "@langchain/openai";
import { UpstashRedisCache } from "@langchain/community/caches/upstash_redis";

// See https://docs.upstash.com/redis/howto/connectwithupstashredis#quick-start for connection options
const cache = new UpstashRedisCache({
  config: {
    url: "UPSTASH_REDIS_REST_URL",
    token: "UPSTASH_REDIS_REST_TOKEN",
  },
  ttl: 3600,
});

const model = new ChatOpenAI({ cache });

API 参考

您还可以直接传入先前创建的 @upstash/redis 客户端实例

import { Redis } from "@upstash/redis";
import https from "https";

import { ChatOpenAI } from "@langchain/openai";
import { UpstashRedisCache } from "@langchain/community/caches/upstash_redis";

// const client = new Redis({
//   url: process.env.UPSTASH_REDIS_REST_URL!,
//   token: process.env.UPSTASH_REDIS_REST_TOKEN!,
//   agent: new https.Agent({ keepAlive: true }),
// });

// Or simply call Redis.fromEnv() to automatically load the UPSTASH_REDIS_REST_URL and UPSTASH_REDIS_REST_TOKEN environment variables.
const client = Redis.fromEnv({
  agent: new https.Agent({ keepAlive: true }),
});

const cache = new UpstashRedisCache({ client });
const model = new ChatOpenAI({ cache });

API 参考

使用 Vercel KV 缓存​

LangChain 提供了基于 Vercel KV 的缓存。与基于 Redis 的缓存一样，如果您想在多个进程或服务器之间共享缓存，此缓存非常有用。 Vercel KV 客户端使用 HTTP 并支持边缘环境。要使用它，您需要安装 @vercel/kv 包

npm install @vercel/kv

您还需要一个 Vercel 帐户和一个 KV 数据库 来连接。完成这些操作后，检索您的 REST URL 和 REST 令牌。

然后，您可以在实例化 LLM 时传递 cache 选项。例如

import { ChatOpenAI } from "@langchain/openai";
import { VercelKVCache } from "@langchain/community/caches/vercel_kv";
import { createClient } from "@vercel/kv";

// See https://vercel.com/docs/storage/vercel-kv/kv-reference#createclient-example for connection options
const cache = new VercelKVCache({
  client: createClient({
    url: "VERCEL_KV_API_URL",
    token: "VERCEL_KV_API_TOKEN",
  }),
  ttl: 3600,
});

const model = new ChatOpenAI({
  model: "gpt-4o-mini",
  cache,
});

API 参考

使用 Cloudflare KV 缓存​

信息

此集成仅在 Cloudflare Workers 中受支持。

如果您将项目部署为 Cloudflare Worker，则可以使用 LangChain 的 Cloudflare KV 驱动的 LLM 缓存。

有关如何在 Cloudflare 中设置 KV 的信息，请参阅 官方文档。

注意： 如果您使用的是 TypeScript，您可能需要安装类型定义（如果尚未安装）

npm install -S @cloudflare/workers-types
import type { KVNamespace } from "@cloudflare/workers-types";

import { ChatOpenAI } from "@langchain/openai";
import { CloudflareKVCache } from "@langchain/cloudflare";

export interface Env {
  KV_NAMESPACE: KVNamespace;
  OPENAI_API_KEY: string;
}

export default {
  async fetch(_request: Request, env: Env) {
    try {
      const cache = new CloudflareKVCache(env.KV_NAMESPACE);
      const model = new ChatOpenAI({
        cache,
        model: "gpt-3.5-turbo",
        apiKey: env.OPENAI_API_KEY,
      });
      const response = await model.invoke("How are you today?");
      return new Response(JSON.stringify(response), {
        headers: { "content-type": "application/json" },
      });
    } catch (err: any) {
      console.log(err.message);
      return new Response(err.message, { status: 500 });
    }
  },
};

API 参考

在文件系统上缓存​

危险

不建议在生产环境中使用此缓存。它仅用于本地开发。

LangChain 提供了一个简单的文件系统缓存。默认情况下，缓存存储在临时目录中，但如果您愿意，可以指定自定义目录。

const cache = await LocalFileCache.create();

下一步​

您现在已经学习了如何缓存模型响应以节省时间和金钱。

接下来，查看其他关于聊天模型的操作指南，例如如何让模型返回结构化输出或如何创建您自己的自定义聊天模型。

此页面是否对您有帮助？


您也可以留下详细的反馈 在 GitHub 上.