ChatDeepInfra

LangChain 通过 ChatDeepInfra 包装器支持由 Deep Infra 托管的聊天模型。首先，您需要安装 @langchain/community 包

提示

查看 有关安装集成包的一般说明，请参阅此部分。

npm

npm install @langchain/community

Yarn

yarn add @langchain/community

pnpm

pnpm add @langchain/community

您需要获取 API 密钥并将其设置为名为 DEEPINFRA_API_TOKEN 的环境变量（或将其传递到构造函数中），然后按如下所示调用模型

import { ChatDeepInfra } from "@langchain/community/chat_models/deepinfra";
import { HumanMessage } from "@langchain/core/messages";

const apiKey = process.env.DEEPINFRA_API_TOKEN;

const model = "meta-llama/Meta-Llama-3-70B-Instruct";

const chat = new ChatDeepInfra({
  model,
  apiKey,
});

const messages = [new HumanMessage("Hello")];

const res = await chat.invoke(messages);

console.log(res);

API 参考

• ChatDeepInfra 来自 @langchain/community/chat_models/deepinfra
• HumanMessage 来自 @langchain/core/messages

相关

• 聊天模型 概念指南
• 聊天模型 操作指南