HuggingFace Transformers
TransformerEmbeddings 类使用Transformers.js 包为给定文本生成嵌入。
它在本地运行，甚至可以直接在浏览器中运行，允许您创建具有内置嵌入的 Web 应用程序。
安装
您需要将@xenova/transformers 包作为对等依赖项进行安装
- npm
- Yarn
- pnpm
npm install @xenova/transformers
yarn add @xenova/transformers
pnpm add @xenova/transformers
提示
- npm
- Yarn
- pnpm
npm install @langchain/community
yarn add @langchain/community
pnpm add @langchain/community
示例
请注意，如果您在浏览器上下文中使用，您可能希望将所有与推理相关的代码放在 web worker 中，以避免阻塞主线程。
参见本指南以及 Transformers.js 文档中的其他资源，以了解如何设置您的项目。
import { HuggingFaceTransformersEmbeddings } from "@langchain/community/embeddings/hf_transformers";
const model = new HuggingFaceTransformersEmbeddings({
model: "Xenova/all-MiniLM-L6-v2",
});
/* Embed queries */
const res = await model.embedQuery(
"What would be a good company name for a company that makes colorful socks?"
);
console.log({ res });
/* Embed documents */
const documentRes = await model.embedDocuments(["Hello world", "Bye bye"]);
console.log({ documentRes });
API 参考
- HuggingFaceTransformersEmbeddings 来自
@langchain/community/embeddings/hf_transformers