HNSWLib
仅在 Node.js 上可用。
HNSWLib 是一种内存向量存储,可以保存到文件。它使用 HNSWLib 库。
本指南提供了一个快速入门 HNSWLib 向量存储 的概述。有关所有 HNSWLib
功能和配置的详细文档,请访问 API 参考。
概述
集成详情
类 | 包 | PY 支持 | 最新包 |
---|---|---|---|
HNSWLib | @langchain/community | ❌ | ![]() |
安装
要使用 HNSWLib 向量存储,您需要安装 @langchain/community
集成包,并将 hnswlib-node
包作为对等依赖项。
本指南还将使用 OpenAI 嵌入,这需要您安装 @langchain/openai
集成包。如果您愿意,也可以使用其他支持的嵌入模型。
有关安装集成包的常规说明,请参阅此部分。
- npm
- yarn
- pnpm
npm i @langchain/community hnswlib-node @langchain/openai @langchain/core
yarn add @langchain/community hnswlib-node @langchain/openai @langchain/core
pnpm add @langchain/community hnswlib-node @langchain/openai @langchain/core
在 Windows 上,您可能需要先安装 Visual Studio 才能正确构建 hnswlib-node
包。
凭证
由于 HNSWLib 在本地运行,因此您无需任何凭证即可使用它。
如果您在本指南中使用 OpenAI 嵌入,您还需要设置您的 OpenAI 密钥
process.env.OPENAI_API_KEY = "YOUR_API_KEY";
如果您想获得模型调用的自动跟踪,您还可以通过取消注释下方内容来设置您的 LangSmith API 密钥
// process.env.LANGSMITH_TRACING="true"
// process.env.LANGSMITH_API_KEY="your-api-key"
实例化
import { HNSWLib } from "@langchain/community/vectorstores/hnswlib";
import { OpenAIEmbeddings } from "@langchain/openai";
const embeddings = new OpenAIEmbeddings({
model: "text-embedding-3-small",
});
const vectorStore = await HNSWLib.fromDocuments([], embeddings);
管理向量存储
向向量存储添加项目
import type { Document } from "@langchain/core/documents";
const document1: Document = {
pageContent: "The powerhouse of the cell is the mitochondria",
metadata: { source: "https://example.com" },
};
const document2: Document = {
pageContent: "Buildings are made out of brick",
metadata: { source: "https://example.com" },
};
const document3: Document = {
pageContent: "Mitochondria are made out of lipids",
metadata: { source: "https://example.com" },
};
const document4: Document = {
pageContent: "The 2024 Olympics are in Paris",
metadata: { source: "https://example.com" },
};
const documents = [document1, document2, document3, document4];
await vectorStore.addDocuments(documents);
目前不支持删除和单个文档的 ID。
查询向量存储
一旦您的向量存储创建完成并且添加了相关文档,您很可能希望在链或 Agent 运行时查询它。
直接查询
执行简单的相似性搜索可以按如下方式完成
const filter = (doc) => doc.metadata.source === "https://example.com";
const similaritySearchResults = await vectorStore.similaritySearch(
"biology",
2,
filter
);
for (const doc of similaritySearchResults) {
console.log(`* ${doc.pageContent} [${JSON.stringify(doc.metadata, null)}]`);
}
* The powerhouse of the cell is the mitochondria [{"source":"https://example.com"}]
* Mitochondria are made out of lipids [{"source":"https://example.com"}]
过滤器是可选的,并且必须是一个谓词函数,该函数接受文档作为输入,并根据是否应返回文档返回 true
或 false
。
如果您想执行相似性搜索并接收相应的分数,您可以运行
const similaritySearchWithScoreResults =
await vectorStore.similaritySearchWithScore("biology", 2, filter);
for (const [doc, score] of similaritySearchWithScoreResults) {
console.log(
`* [SIM=${score.toFixed(3)}] ${doc.pageContent} [${JSON.stringify(
doc.metadata
)}]`
);
}
* [SIM=0.835] The powerhouse of the cell is the mitochondria [{"source":"https://example.com"}]
* [SIM=0.852] Mitochondria are made out of lipids [{"source":"https://example.com"}]
通过转换为检索器进行查询
您还可以将向量存储转换为检索器,以便在您的链中更轻松地使用。
const retriever = vectorStore.asRetriever({
// Optional filter
filter: filter,
k: 2,
});
await retriever.invoke("biology");
[
{
pageContent: 'The powerhouse of the cell is the mitochondria',
metadata: { source: 'https://example.com' }
},
{
pageContent: 'Mitochondria are made out of lipids',
metadata: { source: 'https://example.com' }
}
]
用于检索增强生成的用法
有关如何将此向量存储用于检索增强生成 (RAG) 的指南,请参阅以下部分
保存到/从文件加载
HNSWLib 支持将您的索引保存到文件,然后在稍后重新加载它
// Save the vector store to a directory
const directory = "your/directory/here";
await vectorStore.save(directory);
// Load the vector store from the same directory
const loadedVectorStore = await HNSWLib.load(directory, new OpenAIEmbeddings());
// vectorStore and loadedVectorStore are identical
await loadedVectorStore.similaritySearch("hello world", 1);
删除已保存的索引
您可以使用 .delete
方法清除保存到给定目录的索引
// Load the vector store from the same directory
const savedVectorStore = await HNSWLib.load(directory, new OpenAIEmbeddings());
await savedVectorStore.delete({ directory });
API 参考
有关所有 HNSWLib
功能和配置的详细文档,请访问 API 参考。