S3 文件
兼容性
仅在 Node.js 上可用。
这涵盖了如何从 s3 文件对象加载文档对象。
设置
要运行此索引,您需要已经设置好 Unstructured,并在可用的 URL 终结点处可以使用。它也可以配置为在本地运行。
请参阅文档这里以获取有关如何执行此操作的信息。
您还需要安装官方的 AWS SDK
- npm
- Yarn
- pnpm
npm install @langchain/community @langchain/core @aws-sdk/client-s3
yarn add @langchain/community @langchain/core @aws-sdk/client-s3
pnpm add @langchain/community @langchain/core @aws-sdk/client-s3
用法
配置完 Unstructured 后,您可以使用 S3 加载器加载文件,然后将其转换为文档。
您可以选择提供 s3Config 参数来指定您的存储桶区域、访问密钥和秘密访问密钥。如果未提供这些内容,则需要将它们放在您的环境中(例如,通过运行 aws configure
)。
import { S3Loader } from "@langchain/community/document_loaders/web/s3";
const loader = new S3Loader({
bucket: "my-document-bucket-123",
key: "AccountingOverview.pdf",
s3Config: {
region: "us-east-1",
credentials: {
accessKeyId: "AKIAIOSFODNN7EXAMPLE",
secretAccessKey: "wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY",
},
},
unstructuredAPIURL: "http://localhost:8000/general/v0/general",
unstructuredAPIKey: "", // this will be soon required
});
const docs = await loader.load();
console.log(docs);
API 参考
- S3Loader 来自
@langchain/community/document_loaders/web/s3