GitLab多群组及子群组下项目仅能获取半数，如何全量拉取？

你的脚本无法获取全部项目的核心问题是计算总页数时未匹配列表请求的参数，导致循环次数不足，只爬取了部分内容。以下是具体修复方案：

问题分析 #

1. 计算总页数的请求未添加include_subgroups=true，得到的页数仅对应当前群组的项目，而非包含所有子群组的总项目数，循环次数不够。
2. GitLab API默认每页仅返回20个项目，未优化分页参数会增加请求次数，也可能因参数不一致导致漏爬。

修复步骤 #

1. 计算总页数时，必须加入include_subgroups=true，确保页数对应包含所有子群组的项目总量。
2. 添加per_page=100参数（GitLab API最大支持每页100条），减少请求次数，提升效率。
3. 移除循环内重复写入branches文件的操作，避免无效性能消耗，可在循环结束后统一提取分支信息。

修改后的脚本 #

echo "Project_id, Project_Name, Project_url, Project_default_branch, Group_id" > result_branch.csv
# 计算总页数时同步使用include_subgroups和per_page参数
number_of_pages=$(curl -s --head "https://gitlab.com/api/v4/groups/8523968/projects?private_token=$token&include_subgroups=true&per_page=100" | grep -i x-total-pages | awk '{print $2}' | tr -d '\r\n')
for page in $(seq 1 $number_of_pages); do
    # 请求参数与计算页数时保持完全一致
    curl --silent --header "Private-Token: $token" "https://gitlab.com/api/v4/groups/8523968/projects?include_subgroups=true&per_page=100&page=$page" | jq -r '.[] | [.id, .name, .web_url, .default_branch, .namespace.id] | @csv' >> result_branch.csv
done
# 循环结束后统一提取分支信息
awk -F ',' '{print $4}' result_branch.csv > branches

额外注意事项 #

• 确保你的API令牌拥有read_api权限，能访问所有嵌套群组的项目。
• 如果项目数量极大，可在循环中加入sleep 1避免触发GitLab API的速率限制。

内容的提问来源于stack exchange，提问作者JEROME MARIYA NIRMAL A