如何通过GitHub API批量打包组织内所有仓库为tar包？

1. 获取组织内全量仓库列表 #

当前仅能手动指定单个仓库，批量操作的核心前提是拿到组织下所有仓库（含私有）的完整清单。可通过GitHub组织仓库API接口实现：

# 替换{ORG_NAME}和{PERSONAL_ACCESS_TOKEN}
curl -H "Authorization: token {PERSONAL_ACCESS_TOKEN}" \
  "https://api.github.com/orgs/{ORG_NAME}/repos?per_page=100&type=all"

注意：GitHub API默认每页返回30条数据，per_page=100能减少请求次数；type=all会包含私有、公有、内部仓库。若仓库总数超过100，还需处理分页逻辑——检查响应头的Link字段，提取下一页URL循环请求，直到获取所有仓库。

2. 解析仓库关键信息 #

从API返回的JSON数据中，需要提取每个仓库的名称和默认分支（并非所有仓库默认分支都是main）。可借助jq工具快速解析：

# 配合上述curl命令，输出每行格式为「仓库名 默认分支」的内容
curl -H "Authorization: token {PERSONAL_ACCESS_TOKEN}" \
  "https://api.github.com/orgs/{ORG_NAME}/repos?per_page=100&type=all" | \
  jq -r '.[] | "\(.name) \(.default_branch)"'

解析结果可存入临时文件（如repos.txt），方便后续循环处理。

3. 循环批量打包仓库 #

拿到仓库列表后，编写bash循环逐个执行打包操作：

• 为每个仓库生成唯一的tar包文件名（比如{仓库名}-{默认分支}.tar.gz），避免文件覆盖
• 替换单个打包命令中的仓库名和分支参数
• 增加错误处理逻辑，记录打包失败的仓库，并清理不完整的tar包

示例循环片段：

# 假设仓库列表已存入repos.txt
while read repo_name default_branch; do
  tar_filename="${repo_name}-${default_branch}.tar.gz"
  echo "开始备份仓库: ${repo_name} (分支: ${default_branch})"
  
  # -f参数让curl在请求失败时返回非0状态码
  curl -f -H "Authorization: token {PERSONAL_ACCESS_TOKEN}" \
    -L "https://api.github.com/repos/{ORG_NAME}/${repo_name}/tarball/${default_branch}" \
    > "${tar_filename}"
  
  # 检查打包是否成功
  if [ $? -ne 0 ]; then
    echo "备份失败: ${repo_name}" >> backup_errors.log
    rm -f "${tar_filename}"
    continue
  fi
done < repos.txt

4. 批量上传至S3存储桶 #

将打包好的tar文件批量上传到S3，需在循环中集成AWS CLI命令：

• 确保本地已配置AWS CLI权限（或通过环境变量AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY临时设置）
• 为S3存储路径添加层级（比如s3://{BUCKET_NAME}/github-backups/），方便管理备份文件
• 上传成功后可选择删除本地tar包，节省存储空间

示例上传逻辑（嵌入循环中）：

# 上传至S3指定路径
aws s3 cp "${tar_filename}" "s3://{BUCKET_NAME}/github-backups/${tar_filename}"

# 检查上传状态，成功则清理本地文件
if [ $? -eq 0 ]; then
  echo "上传成功: ${tar_filename}"
  rm -f "${tar_filename}"
else
  echo "上传失败: ${tar_filename}" >> upload_errors.log
fi

5. 处理GitHub API速率限制 #

GitHub API有请求速率限制（认证请求每小时5000次），100+仓库虽不会触发限制，但建议：

• 在循环中添加短间隔（如sleep 1），避免短时间内高频请求
• 检查响应头的X-RateLimit-Remaining字段，当剩余请求数不足时暂停等待

6. 备份完整性校验（可选但推荐） #

• 生成tar包的MD5/SHA256哈希值，同步上传至S3存储
• 定期下载S3文件与哈希值对比，确保备份文件未损坏

内容的提问来源于stack exchange，提问作者Stvvks