如何编写自定义文档加载器

如果您想实现自己的文档加载器，您有几种选择。

子类化 BaseDocumentLoader

您可以直接扩展 BaseDocumentLoader 类。BaseDocumentLoader 类提供了一些从各种来源加载文档的便捷方法。

abstract class BaseDocumentLoader implements DocumentLoader {
  abstract load(): Promise<Document[]>;
}

子类化 TextLoader

如果您想从文本文件加载文档，您可以扩展 TextLoader 类。TextLoader 类负责读取文件，因此您只需实现一个解析方法。

abstract class TextLoader extends BaseDocumentLoader {
  abstract parse(raw: string): Promise<string[]>;
}

子类化 BufferLoader

如果您想从二进制文件加载文档，您可以扩展 BufferLoader 类。BufferLoader 类负责读取文件，因此您只需实现一个解析方法。

abstract class BufferLoader extends BaseDocumentLoader {
  abstract parse(
    raw: Buffer,
    metadata: Document["metadata"]
  ): Promise<Document[]>;
}