在Docker+GitLab CI中使用Buildroot下载Linux包失败求助

问题重现 #

在Docker环境下通过GitLab CI使用Buildroot构建自定义Linux镜像时，Linux源码仓库下载失败，错误信息如下：

>>> linux d0f5c460aac292d2942b23dd6199fe23021212ad Downloading
Doing full clone
Cloning into bare repository 'linux-d0f5c460aac292d2942b23dd6199fe23021212ad'...
Looking up git.ti.com ... done.
Connecting to git.ti.com (port 9418) ... 198.47.28.207 done.
fatal: The remote end hung up unexpectedly
fatal: early EOF
fatal: index-pack failed
--2023-01-05 11:53:37--  http://sources.buildroot.net/linux-d0f5c460aac292d2942b23dd6199fe23021212ad.tar.gz
Resolving sources.buildroot.net (sources.buildroot.net)... 104.26.1.37, 172.67.72.56, 104.26.0.37, ...
Connecting to sources.buildroot.net (sources.buildroot.net)|104.26.1.37|:80... connected.
HTTP request sent, awaiting response... 404 Not Found
2023-01-05 11:53:37 ERROR 404: Not Found.
package/pkg-generic.mk:73: recipe for target '/builds/XXX/XXX/output/build/linux-d0f5c460aac292d2942b23dd6199fe23021212ad/.stamp_downloaded' failed
make: *** [/builds/XXX/XXX/output/build/linux-d0f5c460aac292d2942b23dd6199fe23021212ad/.stamp_downloaded] Error 1

本地环境及此前Docker构建均正常，推测为GitLab Runner容器网络带宽/稳定性不足导致大体积源码包下载失败。

解决方案 #

1. 优化Git克隆参数 #

通过调整Git克隆参数减少下载量并增加重试机制：
在Buildroot构建时传递以下参数：

make BR2_GIT_CLONE_FLAGS="--depth=1 --retry=3 --http.postBuffer=524288000"

• --depth=1：仅克隆最新提交，大幅降低下载体积
• --retry=3：克隆失败时自动重试3次
• --http.postBuffer=524288000：增大HTTP缓冲区，避免大文件传输中断

2. 利用GitLab CI缓存预下载源码 #

将Buildroot的下载目录（默认dl/）加入CI缓存，避免重复下载：

1. 在.gitlab-ci.yml中配置缓存：

   cache:
     paths:
       - dl/
     policy: pull-push
   

2. 在CI构建脚本中提前检查缓存，缺失则手动从可靠源下载：

   LINUX_TARBALL="linux-d0f5c460aac292d2942b23dd6199fe23021212ad.tar.gz"
   if [ ! -f dl/$LINUX_TARBALL ]; then
     # 替换为稳定的自定义镜像源
     wget -O dl/$LINUX_TARBALL "https://your-mirror-url/$LINUX_TARBALL"
   fi
   

Buildroot会优先使用dl/目录中的本地包，跳过远程克隆/下载步骤。

3. 调整Docker容器网络配置 #

• 给GitLab Runner容器分配更多资源：在Runner配置中增加--memory和--cpus参数，避免资源不足导致网络中断
• 使用Host网络模式：修改Runner的Docker配置，将network_mode设为host，减少容器网络隔离带来的性能损耗（需注意安全风险）

4. 替换Linux源码下载源 #

若git.ti.com源不稳定，可替换为可靠Git镜像：

• 通过make menuconfig进入Target packages -> Kernel -> Linux kernel，修改Git repository为镜像地址
• 或通过BR2_EXTERNAL自定义层，在package/linux/linux.mk中重写LINUX_GIT_REPO_URL变量

5. 启用Buildroot自动重试下载 #

在Buildroot配置中开启下载重试：

• 执行make menuconfig，进入Build options -> Download behavior
• 勾选Number of download retries并设置重试次数（如3次）
• 保存配置后重新构建，Buildroot会自动重试失败的下载任务

内容的提问来源于stack exchange，提问作者Ploxer2