跳到主要内容

ChatBedrockConverse

Amazon Bedrock Converse 是一项完全托管的服务,通过 API 提供来自领先 AI 初创公司和亚马逊的基础模型 (FM)。您可以从各种 FM 中选择最适合您用例的模型。它为 Bedrock 模型提供统一的对话界面,但尚未完全具备旧版 Bedrock 模型服务 中的所有功能对等性。

这将帮助您开始使用 Amazon Bedrock Converse 聊天模型。有关所有 ChatBedrockConverse 功能和配置的详细文档,请访问 API 参考

概述

集成详情

本地可序列化PY 支持包下载量包最新版本
ChatBedrockConverse@langchain/awsNPM - DownloadsNPM - Version

模型功能

请参阅以下表头中的链接,以获取有关如何使用特定功能的指南。

工具调用结构化输出JSON 模式图像输入音频输入视频输入令牌级流式传输令牌使用量Logprobs

设置

要访问 Bedrock 模型,您需要创建一个 AWS 账户,设置 Bedrock API 服务,获取访问密钥 ID 和秘密密钥,并安装 @langchain/community 集成包。

凭证

前往 AWS 文档 注册 AWS 并设置您的凭证。您还需要为您的账户启用模型访问权限,您可以通过遵循这些说明来完成。

如果您想获取模型调用的自动跟踪,您还可以通过取消注释下方代码来设置您的 LangSmith API 密钥

# export LANGSMITH_TRACING="true"
# export LANGSMITH_API_KEY="your-api-key"

安装

LangChain ChatBedrockConverse 集成位于 @langchain/aws 包中

提示

请参阅此部分,了解有关安装集成包的通用说明。

yarn add @langchain/aws @langchain/core

实例化

现在我们可以实例化我们的模型对象并生成聊天补全。

有几种不同的方法可以与 AWS 进行身份验证 - 以下示例依赖于在您的环境变量中设置的访问密钥、秘密访问密钥和区域

import { ChatBedrockConverse } from "@langchain/aws";

const llm = new ChatBedrockConverse({
model: "anthropic.claude-3-5-sonnet-20240620-v1:0",
region: process.env.BEDROCK_AWS_REGION,
credentials: {
accessKeyId: process.env.BEDROCK_AWS_ACCESS_KEY_ID!,
secretAccessKey: process.env.BEDROCK_AWS_SECRET_ACCESS_KEY!,
},
});

调用

const aiMsg = await llm.invoke([
[
"system",
"You are a helpful assistant that translates English to French. Translate the user sentence.",
],
["human", "I love programming."],
]);
aiMsg;
AIMessage {
"id": "f5dc5791-224e-4fe5-ba2e-4cc51d9e7795",
"content": "J'adore la programmation.",
"additional_kwargs": {},
"response_metadata": {
"$metadata": {
"httpStatusCode": 200,
"requestId": "f5dc5791-224e-4fe5-ba2e-4cc51d9e7795",
"attempts": 1,
"totalRetryDelay": 0
},
"metrics": {
"latencyMs": 584
},
"stopReason": "end_turn",
"usage": {
"inputTokens": 29,
"outputTokens": 11,
"totalTokens": 40
}
},
"tool_calls": [],
"invalid_tool_calls": [],
"usage_metadata": {
"input_tokens": 29,
"output_tokens": 11,
"total_tokens": 40
}
}
console.log(aiMsg.content);
J'adore la programmation.

链接

我们可以像这样链接我们的模型和一个提示模板

import { ChatPromptTemplate } from "@langchain/core/prompts";

const prompt = ChatPromptTemplate.fromMessages([
[
"system",
"You are a helpful assistant that translates {input_language} to {output_language}.",
],
["human", "{input}"],
]);

const chain = prompt.pipe(llm);
await chain.invoke({
input_language: "English",
output_language: "German",
input: "I love programming.",
});
AIMessage {
"id": "c6401e11-8f85-4a71-8e15-4856d55aef78",
"content": "Here's the German translation:\n\nIch liebe Programmieren.",
"additional_kwargs": {},
"response_metadata": {
"$metadata": {
"httpStatusCode": 200,
"requestId": "c6401e11-8f85-4a71-8e15-4856d55aef78",
"attempts": 1,
"totalRetryDelay": 0
},
"metrics": {
"latencyMs": 760
},
"stopReason": "end_turn",
"usage": {
"inputTokens": 23,
"outputTokens": 18,
"totalTokens": 41
}
},
"tool_calls": [],
"invalid_tool_calls": [],
"usage_metadata": {
"input_tokens": 23,
"output_tokens": 18,
"total_tokens": 41
}
}

工具调用

Bedrock 模型的工具调用与其他模型的工作方式类似,但请注意并非所有 Bedrock 模型都支持工具调用。有关更多信息,请参阅 AWS 模型文档

API 参考

有关所有 ChatBedrockConverse 功能和配置的详细文档,请访问 API 参考:https://api.js.langchain.com/classes/langchain_aws.ChatBedrockConverse.html


此页面是否有帮助?


您也可以留下详细的反馈 在 GitHub 上.