BM25

BM25，也称为 Okapi BM25，是一种在信息检索系统中使用的排序函数，用于估计文档与给定搜索查询的相关性。

您可以将其用作检索管道的一部分，作为后处理步骤，在从其他来源检索初始文档集之后重新排序文档。

设置

BM25Retriever 从 @langchain/community 导出。 您需要像这样安装它

提示

查看 有关安装集成包的一般说明的此部分。

npm

npm i @langchain/community @langchain/core

yarn

yarn add @langchain/community @langchain/core

pnpm

pnpm add @langchain/community @langchain/core

此检索器使用 此实现 的 Okapi BM25 中的代码。

用法

您现在可以使用先前检索到的文档创建一个新的检索器

import { BM25Retriever } from "@langchain/community/retrievers/bm25";

const retriever = BM25Retriever.fromDocuments(
  [
    { pageContent: "Buildings are made out of brick", metadata: {} },
    { pageContent: "Buildings are made out of wood", metadata: {} },
    { pageContent: "Buildings are made out of stone", metadata: {} },
    { pageContent: "Cars are made out of metal", metadata: {} },
    { pageContent: "Cars are made out of plastic", metadata: {} },
    { pageContent: "mitochondria is the powerhouse of the cell", metadata: {} },
    { pageContent: "mitochondria is made of lipids", metadata: {} },
  ],
  { k: 4 }
);

// Will return the 4 documents reranked by the BM25 algorithm
await retriever.invoke("mitochondria");

[
  { pageContent: 'mitochondria is made of lipids', metadata: {} },
  {
    pageContent: 'mitochondria is the powerhouse of the cell',
    metadata: {}
  },
  { pageContent: 'Buildings are made out of brick', metadata: {} },
  { pageContent: 'Buildings are made out of wood', metadata: {} }
]

相关

• 检索器 概念指南
• 检索器 操作指南