HuggingFaceInference

以下是如何将 HugggingFaceInference 模型作为 LLM 调用的示例

npm

npm install @langchain/community @langchain/core @huggingface/inference@2

Yarn

yarn add @langchain/community @langchain/core @huggingface/inference@2

pnpm

pnpm add @langchain/community @langchain/core @huggingface/inference@2

提示

我们正在统一所有包中的模型参数。我们现在建议使用model而不是modelName，以及apiKey用于 API 密钥。

import { HuggingFaceInference } from "langchain/llms/hf";

const model = new HuggingFaceInference({
  model: "gpt2",
  apiKey: "YOUR-API-KEY", // In Node.js defaults to process.env.HUGGINGFACEHUB_API_KEY
});
const res = await model.invoke("1 + 1 =");
console.log({ res });

相关

• LLM 概念指南
• LLM 操作指南