ChatDeepInfra

LangChain 支持由 Deep Infra 托管的聊天模型，通过 ChatDeepInfra 封装器。首先，您需要安装 @langchain/community 包

提示

请参阅此章节以获取关于安装集成包的通用指南。

npm

npm install @langchain/community @langchain/core

Yarn

yarn add @langchain/community @langchain/core

pnpm

pnpm add @langchain/community @langchain/core

您需要获取 API 密钥并将其设置为名为 DEEPINFRA_API_TOKEN 的环境变量（或者将其传递到构造函数中），然后如下所示调用模型

import { ChatDeepInfra } from "@langchain/community/chat_models/deepinfra";
import { HumanMessage } from "@langchain/core/messages";

const apiKey = process.env.DEEPINFRA_API_TOKEN;

const model = "meta-llama/Meta-Llama-3-70B-Instruct";

const chat = new ChatDeepInfra({
  model,
  apiKey,
});

const messages = [new HumanMessage("Hello")];

const res = await chat.invoke(messages);

console.log(res);

API 参考

• ChatDeepInfra 来自 @langchain/community/chat_models/deepinfra
• HumanMessage 来自 @langchain/core/messages

相关

• 聊天模型 概念指南
• 聊天模型 操作指南