跳到主要内容

Gradient AI

LangChain.js 支持与 Gradient AI 集成。查看 Gradient AI 以获取可用模型列表。

设置

您需要安装官方 Gradient Node SDK 作为同级依赖项

npm i @gradientai/nodejs-sdk

您需要设置以下环境变量才能使用 Gradient AI API。

  1. GRADIENT_ACCESS_TOKEN
  2. GRADIENT_WORKSPACE_ID

或者,这些可以在 GradientAI 类实例化期间分别设置为 gradientAccessKeyworkspaceId。例如

const model = new GradientLLM({
gradientAccessKey: "My secret Access Token"
workspaceId: "My secret workspace id"
});

使用方法

npm install @langchain/community @langchain/core

使用 Gradient 的基础模型

import { GradientLLM } from "@langchain/community/llms/gradient_ai";

// Note that inferenceParameters are optional
const model = new GradientLLM({
modelSlug: "llama2-7b-chat",
inferenceParameters: {
maxGeneratedTokenCount: 20,
temperature: 0,
},
});
const res = await model.invoke(
"What would be a good company name for a company that makes colorful socks?"
);

console.log({ res });

API 参考

  • GradientLLM 来自 @langchain/community/llms/gradient_ai

使用您自己微调的适配器

要使用您自己的自定义适配器,只需在设置期间设置 adapterId

import { GradientLLM } from "@langchain/community/llms/gradient_ai";

// Note that inferenceParameters are optional
const model = new GradientLLM({
adapterId: process.env.GRADIENT_ADAPTER_ID,
inferenceParameters: {
maxGeneratedTokenCount: 20,
temperature: 0,
},
});
const res = await model.invoke(
"What would be a good company name for a company that makes colorful socks?"
);

console.log({ res });

API 参考

  • GradientLLM 来自 @langchain/community/llms/gradient_ai

此页内容对您有帮助吗?


您也可以留下详细的反馈 在 GitHub 上.