Gitlab REST API浏览器与Python脚本返回结果不一致求助

问题背景 #

编写Python脚本从GitLab EE 15.7.3自动化获取项目数据时，遇到以下问题：

• Chrome中访问[local gitlab repo]/api/v4/projects能返回大量项目列表
• 执行Python脚本请求同一API，返回完全不同且无重叠的项目列表
• 已尝试用户名密码、GitLab项目访问令牌认证，结果无变化；未登录浏览器访问API返回空列表，排除获取公开项目的可能
• 相同脚本逻辑在Jira、Jenkins API中正常工作

排查步骤 #

• 核对认证身份权限

  • 确认浏览器登录账号与脚本使用的账号是否为同一身份：浏览器若用管理员账号，能看到所有项目，而脚本用普通用户或项目令牌时，仅能访问该身份有权限的项目。
  • 项目访问令牌仅能访问对应单个项目，若要获取全量项目，需使用个人访问令牌，并勾选read_api、read_repository等必要权限，同时确保令牌所属用户拥有足够的项目可见权限。

• 对比请求参数差异

  • 打开Chrome开发者工具（F12）→ Network面板，查看浏览器请求/api/v4/projects时的完整URL，检查是否带有默认参数（如membership=true、owned=true）。脚本若未添加这些参数，会导致返回结果范围不同。
  • 检查分页参数：GitLab API默认每页返回20条数据，浏览器可能自动加载多页，但脚本仅获取第一页。可尝试在URL后追加?per_page=100扩大单页返回量，或遍历多页验证。

• 检查请求头差异

  • 模拟浏览器请求头：脚本中添加User-Agent头，比如：

    default_headers = {
        "Content-Type": "application/json",
        "Accept": "application/json",
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
    }
    

  • 对比浏览器的Accept头是否有额外内容，确保脚本头与浏览器一致。

• 改用令牌头认证方式
  GitLab API更推荐通过PRIVATE-TOKEN头传递令牌，而非session.auth的基本认证。修改脚本尝试：

  token = "your_personal_access_token"
  default_headers = {
      "Content-Type": "application/json",
      "Accept": "application/json",
      "PRIVATE-TOKEN": token
  }
  # 移除session.auth，直接使用headers传递令牌
  response = session.request(method="GET", url=url, headers=default_headers, verify=False)
  

• 直接对比请求详情

  • 在Chrome中复制浏览器请求为cURL命令（右键请求→Copy→Copy as cURL），在命令行执行看返回结果。
  • 将脚本的请求转换为cURL，对比两个请求的URL、头信息、认证方式，定位差异点。

• 排查版本特定问题
  查阅GitLab 15.7.x版本的更新日志，确认是否存在API项目列表返回的已知bug，必要时升级到后续稳定版本测试。

内容的提问来源于stack exchange，提问作者MattS