Zep 开源内存

从聊天历史记录中回忆、理解和提取数据。为个性化的 AI 体验赋能。

Zep 是一款用于 AI 助手应用程序的长期内存服务。借助 Zep，您可以为 AI 助手提供回忆过去对话的能力，无论这些对话有多久以前，同时还可以减少幻觉、延迟和成本。

Zep 的工作原理

Zep 会保留和回忆聊天历史记录，并会自动从这些聊天历史记录中生成摘要和其他工件。它还会嵌入消息和摘要，使您能够在 Zep 中搜索来自过去对话的相关上下文。Zep 会异步执行所有这些操作，确保这些操作不会影响用户聊天体验。数据会保留到数据库，使您能够在增长需求时进行扩展。

Zep 还为文档向量搜索提供了一个简单易用的抽象，称为文档集合。这旨在补充 Zep 的核心内存功能，但并非旨在成为通用的向量数据库。

Zep 使您能够更刻意地构建提示

• 自动添加一些最近的消息，数量可根据您的应用程序进行自定义；
• 在上述消息之前对最近对话的摘要；
• 以及/或从整个聊天会话中获取的上下文相关的摘要或消息。
• 以及/或来自 Zep 文档集合的相关业务数据。

有兴趣使用 Zep 云？请参阅 Zep 云安装指南

设置

请参阅 Zep 开源 中的说明，了解如何在本地或通过自动化的托管提供商运行服务器。

提示

请参阅 本节以了解有关安装集成包的通用说明。

npm

npm install @langchain/openai @langchain/community

Yarn

yarn add @langchain/openai @langchain/community

pnpm

pnpm add @langchain/openai @langchain/community

用法

import { ChatOpenAI } from "@langchain/openai";
import { ConversationChain } from "langchain/chains";
import { ZepMemory } from "@langchain/community/memory/zep";
import { randomUUID } from "crypto";

const sessionId = randomUUID(); // This should be unique for each user or each user's session.
const zepURL = "http://localhost:8000";

const memory = new ZepMemory({
  sessionId,
  baseURL: zepURL,
  // This is optional. If you've enabled JWT authentication on your Zep server, you can
  // pass it in here. See https://docs.getzep.com/deployment/auth
  apiKey: "change_this_key",
});

const model = new ChatOpenAI({
  model: "gpt-3.5-turbo",
  temperature: 0,
});

const chain = new ConversationChain({ llm: model, memory });
console.log("Memory Keys:", memory.memoryKeys);

const res1 = await chain.invoke({ input: "Hi! I'm Jim." });
console.log({ res1 });
/*
{
  res1: {
    text: "Hello Jim! It's nice to meet you. My name is AI. How may I assist you today?"
  }
}
*/

const res2 = await chain.invoke({ input: "What did I just say my name was?" });
console.log({ res2 });

/*
{
  res1: {
    text: "You said your name was Jim."
  }
}
*/
console.log("Session ID: ", sessionId);
console.log("Memory: ", await memory.loadMemoryVariables({}));

API 参考

• ChatOpenAI 来自 @langchain/openai
• ConversationChain 来自 langchain/chains
• ZepMemory 来自 @langchain/community/memory/zep