ChatVertexAI

Google Vertex 是一种服务，它公开了 Google Cloud 中所有可用的基础模型，例如 gemini-1.5-pro、gemini-1.5-flash 等。

这将帮助您开始使用 ChatVertexAI 聊天模型。有关所有 ChatVertexAI 功能和配置的详细文档，请访问 API 参考.

概述

集成详细信息

类	包	本地	可序列化	PY 支持	包下载	包最新版本
ChatVertexAI	@langchain/google-vertexai	❌	✅	✅

模型功能

有关如何使用特定功能的指南，请参阅下方表格标题中的链接。

工具调用	结构化输出	JSON 模式	图像输入	音频输入	视频输入	令牌级流	令牌使用	Logprobs
✅	✅	❌	✅	✅	✅	✅	✅	❌

设置

LangChain.js 支持两种不同的身份验证方法，具体取决于您是在 Node.js 环境中还是在 Web 环境中运行。

要访问 ChatVertexAI 模型，您需要在您的 Google Cloud Platform (GCP) 帐户中设置 Google VertexAI，保存凭据文件并安装 @langchain/google-vertexai 集成包。

凭据

访问您的 GCP 帐户 并生成凭据文件。完成此操作后，设置 GOOGLE_APPLICATION_CREDENTIALS 环境变量

export GOOGLE_APPLICATION_CREDENTIALS="path/to/your/credentials.json"

如果在 Web 环境中运行，您应该将 GOOGLE_VERTEX_AI_WEB_CREDENTIALS 环境变量设置为 JSON 字符串化的对象，并安装 @langchain/google-vertexai-web 包

GOOGLE_VERTEX_AI_WEB_CREDENTIALS={"type":"service_account","project_id":"YOUR_PROJECT-12345",...}

如果您想获得模型调用的自动跟踪，您也可以通过取消注释以下内容来设置您的 LangSmith API 密钥

# export LANGCHAIN_TRACING_V2="true"
# export LANGCHAIN_API_KEY="your-api-key"

安装

LangChain ChatVertexAI 集成位于 @langchain/google-vertexai 包中

提示

有关安装集成包的一般说明，请参阅 此部分.

npm

npm i @langchain/google-vertexai

yarn

yarn add @langchain/google-vertexai

pnpm

pnpm add @langchain/google-vertexai

或者，如果在 Web 环境（例如 Vercel Edge 函数）中使用

npm

npm i @langchain/google-vertexai-web

yarn

yarn add @langchain/google-vertexai-web

pnpm

pnpm add @langchain/google-vertexai-web

实例化

现在我们可以实例化模型对象并生成聊天完成项

import { ChatVertexAI } from "@langchain/google-vertexai";
// Uncomment the following line if you're running in a web environment:
// import { ChatVertexAI } from "@langchain/google-vertexai-web"

const llm = new ChatVertexAI({
  model: "gemini-1.5-pro",
  temperature: 0,
  maxRetries: 2,
  // For web, authOptions.credentials
  // authOptions: { ... }
  // other params...
});

调用

const aiMsg = await llm.invoke([
  [
    "system",
    "You are a helpful assistant that translates English to French. Translate the user sentence.",
  ],
  ["human", "I love programming."],
]);
aiMsg;

AIMessageChunk {
  "content": "J'adore programmer. \n",
  "additional_kwargs": {},
  "response_metadata": {},
  "tool_calls": [],
  "tool_call_chunks": [],
  "invalid_tool_calls": [],
  "usage_metadata": {
    "input_tokens": 20,
    "output_tokens": 7,
    "total_tokens": 27
  }
}

console.log(aiMsg.content);

J'adore programmer.

链接

我们可以 链接 模型和提示模板，如下所示

import { ChatPromptTemplate } from "@langchain/core/prompts";

const prompt = ChatPromptTemplate.fromMessages([
  [
    "system",
    "You are a helpful assistant that translates {input_language} to {output_language}.",
  ],
  ["human", "{input}"],
]);

const chain = prompt.pipe(llm);
await chain.invoke({
  input_language: "English",
  output_language: "German",
  input: "I love programming.",
});

AIMessageChunk {
  "content": "Ich liebe das Programmieren. \n",
  "additional_kwargs": {},
  "response_metadata": {},
  "tool_calls": [],
  "tool_call_chunks": [],
  "invalid_tool_calls": [],
  "usage_metadata": {
    "input_tokens": 15,
    "output_tokens": 9,
    "total_tokens": 24
  }
}

API 参考

有关所有 ChatVertexAI 功能和配置的详细文档，请访问 API 参考：https://api.js.langchain.com/classes/langchain_google_vertexai.ChatVertexAI.html

相关

• 聊天模型 概念指南
• 聊天模型 操作指南