跳至主要内容

Elasticsearch

兼容性

仅在 Node.js 上可用。

Elasticsearch 是一款分布式 RESTful 搜索引擎,针对生产规模工作负载进行了优化,可实现快速和相关的搜索结果。它还支持使用 k 近邻 (kNN) 算法进行向量搜索,以及支持自然语言处理 (NLP) 的自定义模型。您可以在此处了解有关 Elasticsearch 中向量搜索支持的更多信息。

本指南提供了一个快速入门指南,介绍如何开始使用 Elasticsearch 向量存储。有关所有 ElasticVectorSearch 功能和配置的详细文档,请访问 API 参考

概述

集成详细信息

PY 支持最新包
ElasticVectorSearch@langchain/communityNPM - Version

设置

若要使用 Elasticsearch 向量存储,您需要安装 @langchain/community 集成包。

LangChain.js 接受 @elastic/elasticsearch 作为 Elasticsearch 向量存储的客户端。您需要将其作为对等依赖项进行安装。

本指南还将使用 OpenAI 嵌入,这要求您安装 @langchain/openai 集成包。如果您愿意,也可以使用 其他受支持的嵌入模型

yarn add @langchain/community @elastic/elasticsearch @langchain/openai

凭据

若要使用 Elasticsearch 向量存储,您需要有一个正在运行的 Elasticsearch 实例。

您可以使用 官方 Docker 镜像 开始,也可以使用 Elastic Cloud(Elastic 的官方云服务)。

有关连接到 Elastic Cloud 的信息,您可以阅读此处报告的文档,了解如何获取 API 密钥。

如果您在本指南中使用 OpenAI 嵌入,则还需要设置 OpenAI 密钥。

process.env.OPENAI_API_KEY = "YOUR_API_KEY";

如果您想获得模型调用的自动跟踪,还可以通过取消下面的注释来设置LangSmith API 密钥。

// process.env.LANGCHAIN_TRACING_V2="true"
// process.env.LANGCHAIN_API_KEY="your-api-key"

实例化

Elasticsearch 的实例化方式将根据您的实例托管位置而有所不同。

import {
ElasticVectorSearch,
type ElasticClientArgs,
} from "@langchain/community/vectorstores/elasticsearch";
import { OpenAIEmbeddings } from "@langchain/openai";

import { Client, type ClientOptions } from "@elastic/elasticsearch";

import * as fs from "node:fs";

const embeddings = new OpenAIEmbeddings({
model: "text-embedding-3-small",
});

const config: ClientOptions = {
node: process.env.ELASTIC_URL ?? "https://127.0.0.1:9200",
};

if (process.env.ELASTIC_API_KEY) {
config.auth = {
apiKey: process.env.ELASTIC_API_KEY,
};
} else if (process.env.ELASTIC_USERNAME && process.env.ELASTIC_PASSWORD) {
config.auth = {
username: process.env.ELASTIC_USERNAME,
password: process.env.ELASTIC_PASSWORD,
};
}
// Local Docker deploys require a TLS certificate
if (process.env.ELASTIC_CERT_PATH) {
config.tls = {
ca: fs.readFileSync(process.env.ELASTIC_CERT_PATH),
rejectUnauthorized: false,
};
}
const clientArgs: ElasticClientArgs = {
client: new Client(config),
indexName: process.env.ELASTIC_INDEX ?? "test_vectorstore",
};

const vectorStore = new ElasticVectorSearch(embeddings, clientArgs);

管理向量存储

向向量存储添加项目

import type { Document } from "@langchain/core/documents";

const document1: Document = {
pageContent: "The powerhouse of the cell is the mitochondria",
metadata: { source: "https://example.com" },
};

const document2: Document = {
pageContent: "Buildings are made out of brick",
metadata: { source: "https://example.com" },
};

const document3: Document = {
pageContent: "Mitochondria are made out of lipids",
metadata: { source: "https://example.com" },
};

const document4: Document = {
pageContent: "The 2024 Olympics are in Paris",
metadata: { source: "https://example.com" },
};

const documents = [document1, document2, document3, document4];

await vectorStore.addDocuments(documents, { ids: ["1", "2", "3", "4"] });
[ '1', '2', '3', '4' ]

从向量存储中删除项目

您可以通过传递与输入时相同的 ID 来删除存储中的值。

await vectorStore.delete({ ids: ["4"] });

查询向量存储

创建向量存储并添加相关文档后,您可能希望在链或代理运行期间查询它。

直接查询

可以通过以下方式执行简单的相似性搜索。

const filter = [
{
operator: "match",
field: "source",
value: "https://example.com",
},
];

const similaritySearchResults = await vectorStore.similaritySearch(
"biology",
2,
filter
);

for (const doc of similaritySearchResults) {
console.log(`* ${doc.pageContent} [${JSON.stringify(doc.metadata, null)}]`);
}
* The powerhouse of the cell is the mitochondria [{"source":"https://example.com"}]
* Mitochondria are made out of lipids [{"source":"https://example.com"}]

向量存储支持 Elasticsearch 过滤器语法 运算符。

如果您想执行相似性搜索并接收相应的评分,可以运行。

const similaritySearchWithScoreResults =
await vectorStore.similaritySearchWithScore("biology", 2, filter);

for (const [doc, score] of similaritySearchWithScoreResults) {
console.log(
`* [SIM=${score.toFixed(3)}] ${doc.pageContent} [${JSON.stringify(
doc.metadata
)}]`
);
}
* [SIM=0.374] The powerhouse of the cell is the mitochondria [{"source":"https://example.com"}]
* [SIM=0.370] Mitochondria are made out of lipids [{"source":"https://example.com"}]

通过转换为检索器进行查询

您还可以将向量存储转换为 检索器,以便在您的链中更轻松地使用它。

const retriever = vectorStore.asRetriever({
// Optional filter
filter: filter,
k: 2,
});
await retriever.invoke("biology");
[
Document {
pageContent: 'The powerhouse of the cell is the mitochondria',
metadata: { source: 'https://example.com' },
id: undefined
},
Document {
pageContent: 'Mitochondria are made out of lipids',
metadata: { source: 'https://example.com' },
id: undefined
}
]

检索增强生成的使用

有关如何将此向量存储用于检索增强生成 (RAG) 的指南,请参见以下部分

API 参考

有关所有 ElasticVectorSearch 功能和配置的详细文档,请访问 API 参考


此页面是否有帮助?


您也可以留下详细的反馈 在 GitHub 上.