ChatBedrockConverse
Amazon Bedrock Converse 是一项完全托管的服务,通过 API 提供来自领先 AI 初创公司和亚马逊的基础模型 (FM)。您可以从各种 FM 中选择最适合您用例的模型。它为 Bedrock 模型提供统一的对话界面,但尚未完全具备旧版 Bedrock 模型服务 中的所有功能对等性。
这将帮助您开始使用 Amazon Bedrock Converse 聊天模型。有关所有 ChatBedrockConverse
功能和配置的详细文档,请访问 API 参考。
概述
集成详情
类 | 包 | 本地 | 可序列化 | PY 支持 | 包下载量 | 包最新版本 |
---|---|---|---|---|---|---|
ChatBedrockConverse | @langchain/aws | ❌ | ✅ | ✅ | ![]() | ![]() |
模型功能
请参阅以下表头中的链接,以获取有关如何使用特定功能的指南。
工具调用 | 结构化输出 | JSON 模式 | 图像输入 | 音频输入 | 视频输入 | 令牌级流式传输 | 令牌使用量 | Logprobs |
---|---|---|---|---|---|---|---|---|
✅ | ✅ | ❌ | ✅ | ❌ | ❌ | ✅ | ✅ | ❌ |
设置
要访问 Bedrock 模型,您需要创建一个 AWS 账户,设置 Bedrock API 服务,获取访问密钥 ID 和秘密密钥,并安装 @langchain/community
集成包。
凭证
前往 AWS 文档 注册 AWS 并设置您的凭证。您还需要为您的账户启用模型访问权限,您可以通过遵循这些说明来完成。
如果您想获取模型调用的自动跟踪,您还可以通过取消注释下方代码来设置您的 LangSmith API 密钥
# export LANGSMITH_TRACING="true"
# export LANGSMITH_API_KEY="your-api-key"
安装
LangChain ChatBedrockConverse
集成位于 @langchain/aws
包中
请参阅此部分,了解有关安装集成包的通用说明。
- npm
- yarn
- pnpm
npm i @langchain/aws @langchain/core
yarn add @langchain/aws @langchain/core
pnpm add @langchain/aws @langchain/core
实例化
现在我们可以实例化我们的模型对象并生成聊天补全。
有几种不同的方法可以与 AWS 进行身份验证 - 以下示例依赖于在您的环境变量中设置的访问密钥、秘密访问密钥和区域
import { ChatBedrockConverse } from "@langchain/aws";
const llm = new ChatBedrockConverse({
model: "anthropic.claude-3-5-sonnet-20240620-v1:0",
region: process.env.BEDROCK_AWS_REGION,
credentials: {
accessKeyId: process.env.BEDROCK_AWS_ACCESS_KEY_ID!,
secretAccessKey: process.env.BEDROCK_AWS_SECRET_ACCESS_KEY!,
},
});
调用
const aiMsg = await llm.invoke([
[
"system",
"You are a helpful assistant that translates English to French. Translate the user sentence.",
],
["human", "I love programming."],
]);
aiMsg;
AIMessage {
"id": "f5dc5791-224e-4fe5-ba2e-4cc51d9e7795",
"content": "J'adore la programmation.",
"additional_kwargs": {},
"response_metadata": {
"$metadata": {
"httpStatusCode": 200,
"requestId": "f5dc5791-224e-4fe5-ba2e-4cc51d9e7795",
"attempts": 1,
"totalRetryDelay": 0
},
"metrics": {
"latencyMs": 584
},
"stopReason": "end_turn",
"usage": {
"inputTokens": 29,
"outputTokens": 11,
"totalTokens": 40
}
},
"tool_calls": [],
"invalid_tool_calls": [],
"usage_metadata": {
"input_tokens": 29,
"output_tokens": 11,
"total_tokens": 40
}
}
console.log(aiMsg.content);
J'adore la programmation.
链接
我们可以像这样链接我们的模型和一个提示模板
import { ChatPromptTemplate } from "@langchain/core/prompts";
const prompt = ChatPromptTemplate.fromMessages([
[
"system",
"You are a helpful assistant that translates {input_language} to {output_language}.",
],
["human", "{input}"],
]);
const chain = prompt.pipe(llm);
await chain.invoke({
input_language: "English",
output_language: "German",
input: "I love programming.",
});
AIMessage {
"id": "c6401e11-8f85-4a71-8e15-4856d55aef78",
"content": "Here's the German translation:\n\nIch liebe Programmieren.",
"additional_kwargs": {},
"response_metadata": {
"$metadata": {
"httpStatusCode": 200,
"requestId": "c6401e11-8f85-4a71-8e15-4856d55aef78",
"attempts": 1,
"totalRetryDelay": 0
},
"metrics": {
"latencyMs": 760
},
"stopReason": "end_turn",
"usage": {
"inputTokens": 23,
"outputTokens": 18,
"totalTokens": 41
}
},
"tool_calls": [],
"invalid_tool_calls": [],
"usage_metadata": {
"input_tokens": 23,
"output_tokens": 18,
"total_tokens": 41
}
}
工具调用
Bedrock 模型的工具调用与其他模型的工作方式类似,但请注意并非所有 Bedrock 模型都支持工具调用。有关更多信息,请参阅 AWS 模型文档。
API 参考
有关所有 ChatBedrockConverse
功能和配置的详细文档,请访问 API 参考:https://api.js.langchain.com/classes/langchain_aws.ChatBedrockConverse.html