谷歌

与Google Cloud Platform相关的功能

聊天模型

Gemini 模型

通过ChatGoogleGenerativeAI访问 Gemini 模型，例如 gemini-pro 和 gemini-pro-vision，或者如果使用 VertexAI，则通过ChatVertexAI 类访问。

GenAI

提示

有关安装集成包的常规说明，请参阅此部分。

npm

npm install @langchain/google-genai

Yarn

yarn add @langchain/google-genai

pnpm

pnpm add @langchain/google-genai

配置您的 API 密钥。

export GOOGLE_API_KEY=your-api-key

import { ChatGoogleGenerativeAI } from "@langchain/google-genai";

const model = new ChatGoogleGenerativeAI({
  model: "gemini-pro",
  maxOutputTokens: 2048,
});

// Batch and stream are also supported
const res = await model.invoke([
  [
    "human",
    "What would be a good company name for a company that makes colorful socks?",
  ],
]);

当提供单个人类消息时，Gemini 视觉模型支持图像输入。例如

const visionModel = new ChatGoogleGenerativeAI({
  model: "gemini-pro-vision",
  maxOutputTokens: 2048,
});
const image = fs.readFileSync("./hotdog.jpg").toString("base64");
const input2 = [
  new HumanMessage({
    content: [
      {
        type: "text",
        text: "Describe the following image.",
      },
      {
        type: "image_url",
        image_url: `data:image/png;base64,${image}`,
      },
    ],
  }),
];

const res = await visionModel.invoke(input2);

提示

单击此处查看 @langchain/google-genai 特定集成文档

VertexAI

提示

有关安装集成包的常规说明，请参阅此部分。

npm

npm install @langchain/google-vertexai

Yarn

yarn add @langchain/google-vertexai

pnpm

pnpm add @langchain/google-vertexai

然后，您需要添加您的服务帐户凭据，可以直接作为 GOOGLE_VERTEX_AI_WEB_CREDENTIALS 环境变量

GOOGLE_VERTEX_AI_WEB_CREDENTIALS={"type":"service_account","project_id":"YOUR_PROJECT-12345",...}

或者作为文件路径

GOOGLE_VERTEX_AI_WEB_CREDENTIALS_FILE=/path/to/your/credentials.json

import { ChatVertexAI } from "@langchain/google-vertexai";
// Or, if using the web entrypoint:
// import { ChatVertexAI } from "@langchain/google-vertexai-web";

const model = new ChatVertexAI({
  model: "gemini-1.0-pro",
  maxOutputTokens: 2048,
});

// Batch and stream are also supported
const res = await model.invoke([
  [
    "human",
    "What would be a good company name for a company that makes colorful socks?",
  ],
]);

当提供单个人类消息时，Gemini 视觉模型支持图像输入。例如

const visionModel = new ChatVertexAI({
  model: "gemini-pro-vision",
  maxOutputTokens: 2048,
});
const image = fs.readFileSync("./hotdog.png").toString("base64");
const input2 = [
  new HumanMessage({
    content: [
      {
        type: "text",
        text: "Describe the following image.",
      },
      {
        type: "image_url",
        image_url: `data:image/png;base64,${image}`,
      },
    ],
  }),
];

const res = await visionModel.invoke(input2);

提示

单击此处查看 @langchain/google-vertexai 特定集成文档

image_url 的值必须是 base64 编码的图像（例如，data:image/png;base64,abcd124）。

Vertex AI（Legacy）

提示

有关聊天的旧版 Google PaLM 和 VertexAI 文档，请参阅此处，有关 LLM 的文档，请参阅此处。

向量存储

Vertex AI 向量搜索

Vertex AI 向量搜索（以前称为 Vertex AI Matching Engine）提供业界领先的大规模低延迟向量数据库。这些向量数据库通常被称为向量相似性匹配或近似最近邻 (ANN) 服务。

import { MatchingEngine } from "langchain/vectorstores/googlevertexai";

工具

谷歌搜索

• 按照这些说明设置自定义搜索引擎。
• 从上一步获取 API 密钥和自定义搜索引擎 ID，并将它们分别设置为环境变量 GOOGLE_API_KEY 和 GOOGLE_CSE_ID。

存在一个 GoogleCustomSearch 实用程序，它包装了此 API。要导入此实用程序

import { GoogleCustomSearch } from "langchain/tools";

我们可以轻松地将此包装器加载为工具（与代理一起使用）。我们可以使用以下命令来完成此操作

const tools = [new GoogleCustomSearch({})];
// Pass this variable into your agent.