GitHub

此示例介绍了如何从 GitHub 存储库加载数据。您可以将 GITHUB_ACCESS_TOKEN 环境变量设置为 GitHub 访问令牌以提高速率限制并访问私有存储库。

设置

GitHub 加载器需要 ignore npm 包 作为对等依赖项。按以下方式安装它

npm

npm install @langchain/community @langchain/core ignore

Yarn

yarn add @langchain/community @langchain/core ignore

pnpm

pnpm add @langchain/community @langchain/core ignore

用法

import { GithubRepoLoader } from "@langchain/community/document_loaders/web/github";

export const run = async () => {
  const loader = new GithubRepoLoader(
    "https://github.com/langchain-ai/langchainjs",
    {
      branch: "main",
      recursive: false,
      unknown: "warn",
      maxConcurrency: 5, // Defaults to 2
    }
  );
  const docs = await loader.load();
  console.log({ docs });
};

API 参考

• GithubRepoLoader 来自 @langchain/community/document_loaders/web/github

加载器将忽略二进制文件（如图像）。

使用 .gitignore 语法

要忽略特定文件，您可以将 ignorePaths 数组传递到构造函数中

import { GithubRepoLoader } from "@langchain/community/document_loaders/web/github";

export const run = async () => {
  const loader = new GithubRepoLoader(
    "https://github.com/langchain-ai/langchainjs",
    { branch: "main", recursive: false, unknown: "warn", ignorePaths: ["*.md"] }
  );
  const docs = await loader.load();
  console.log({ docs });
  // Will not include any .md files
};

API 参考

• GithubRepoLoader 来自 @langchain/community/document_loaders/web/github

使用不同的 GitHub 实例

您可能希望将目标设置为 github.com 之外的其他 GitHub 实例，例如，如果您公司有 GitHub Enterprise 实例。为此，您需要两个额外的参数

• baseUrl - 您的 GitHub 实例的基 URL，因此 githubUrl 与 <baseUrl>/<owner>/<repo>/... 相匹配
• apiUrl - 您的 GitHub 实例的 API 端点 URL

import { GithubRepoLoader } from "@langchain/community/document_loaders/web/github";

export const run = async () => {
  const loader = new GithubRepoLoader(
    "https://github.your.company/org/repo-name",
    {
      baseUrl: "https://github.your.company",
      apiUrl: "https://github.your.company/api/v3",
      accessToken: "ghp_A1B2C3D4E5F6a7b8c9d0",
      branch: "main",
      recursive: true,
      unknown: "warn",
    }
  );
  const docs = await loader.load();
  console.log({ docs });
};

API 参考

• GithubRepoLoader 来自 @langchain/community/document_loaders/web/github

处理子模块

如果您的存储库包含子模块，则必须决定加载器是否应该跟踪它们。您可以使用布尔值 processSubmodules 参数来控制这一点。默认情况下，不会处理子模块。请注意，处理子模块仅在将 recursive 参数设置为 true 时有效。

import { GithubRepoLoader } from "@langchain/community/document_loaders/web/github";

export const run = async () => {
  const loader = new GithubRepoLoader(
    "https://github.com/langchain-ai/langchainjs",
    {
      branch: "main",
      recursive: true,
      processSubmodules: true,
      unknown: "warn",
    }
  );
  const docs = await loader.load();
  console.log({ docs });
};

API 参考

• GithubRepoLoader 来自 @langchain/community/document_loaders/web/github

请注意，加载器不会跟踪位于与当前存储库不同的 GitHub 实例上的子模块。

流式传输大型存储库

对于需要以内存高效的方式处理大型存储库的情况。您可以使用 loadAsStream 方法异步地从整个 GitHub 存储库流式传输文档。

import { GithubRepoLoader } from "@langchain/community/document_loaders/web/github";

export const run = async () => {
  const loader = new GithubRepoLoader(
    "https://github.com/langchain-ai/langchainjs",
    {
      branch: "main",
      recursive: false,
      unknown: "warn",
      maxConcurrency: 3, // Defaults to 2
    }
  );

  const docs = [];
  for await (const doc of loader.loadAsStream()) {
    docs.push(doc);
  }

  console.log({ docs });
};

API 参考

• GithubRepoLoader 来自 @langchain/community/document_loaders/web/github