梯度 AI

LangChain.js 支持与梯度 AI 集成。查看 梯度 AI 以获取可用模型的列表。

设置

您需要安装官方梯度节点 SDK 作为对等依赖项

npm

npm i @gradientai/nodejs-sdk

Yarn

yarn add @gradientai/nodejs-sdk

pnpm

pnpm add @gradientai/nodejs-sdk

您需要为使用梯度 AI API 设置以下环境变量。

1. GRADIENT_ACCESS_TOKEN
2. GRADIENT_WORKSPACE_ID

或者，这些可以在梯度 AI 类实例化期间分别设置为 gradientAccessKey 和 workspaceId。例如

const model = new GradientLLM({
  gradientAccessKey: "My secret Access Token"
  workspaceId: "My secret workspace id"
});

用法

提示

见 此部分以获取有关安装集成软件包的通用说明.

npm

npm install @langchain/community @langchain/core

Yarn

yarn add @langchain/community @langchain/core

pnpm

pnpm add @langchain/community @langchain/core

使用梯度的基本模型

import { GradientLLM } from "@langchain/community/llms/gradient_ai";

// Note that inferenceParameters are optional
const model = new GradientLLM({
  modelSlug: "llama2-7b-chat",
  inferenceParameters: {
    maxGeneratedTokenCount: 20,
    temperature: 0,
  },
});
const res = await model.invoke(
  "What would be a good company name for a company that makes colorful socks?"
);

console.log({ res });

API 参考

• GradientLLM 来自 @langchain/community/llms/gradient_ai

使用您自己的微调适配器

要使用您自己的自定义适配器，只需在设置期间设置 adapterId。

import { GradientLLM } from "@langchain/community/llms/gradient_ai";

// Note that inferenceParameters are optional
const model = new GradientLLM({
  adapterId: process.env.GRADIENT_ADAPTER_ID,
  inferenceParameters: {
    maxGeneratedTokenCount: 20,
    temperature: 0,
  },
});
const res = await model.invoke(
  "What would be a good company name for a company that makes colorful socks?"
);

console.log({ res });

API 参考

• GradientLLM 来自 @langchain/community/llms/gradient_ai

相关

• LLM 概念指南
• LLM 操作指南