GitLab流水线中Terraform执行脚本上传S3失败及无日志问题排查

开发者阿泽

2026-6-13

问题

在GitLab流水线中基于Terraform部署AWS资源，现有流水线配置无法修改。通过data "external"执行Shell脚本生成文件，再用aws_s3_object将生成的文件上传至S3。本地运行一切正常，但在流水线中执行时，data external内的调试日志无输出，文件也未完成上传，且流水线无任何报错信息。

使用的Terraform代码如下：

生成文件的external数据源配置

data "external" "proto_generator" {
  program = [
    "sh", "-c",
    <<-EOT
         echo "=== Starting Proto Generation ===">&2

        # Redirect all installation output to stderr
        apk add --no-cache bash jq protobuf protobuf-dev>&2

        # Show current directory and contents
        pwd>&2
        ls -la ${path.root}/libraries/proto_files>&2

        # Execute proto generator script and redirect its output to stderr
        bash ${path.root}/scripts/proto_generator.sh>&2

        # List generated files for debugging
        echo "Generated files:">&2
        ls -la ${path.root}/libraries/proto_files/*/*_descriptor.desc>&2

        # Only output the JSON object, nothing else
        printf '{"result":"success"}'
    EOT
  ]
}

上传S3的资源配置

resource "aws_s3_object" "descriptor_files" {
  # Use for_each to handle multiple files
  for_each = fileset("${path.root}/libraries/proto_files", "**/*_descriptor.desc")

  bucket = aws_s3_bucket.data_model_bucket.id
  key    = each.value
  source = "${path.root}/libraries/proto_files/${each.value}"

  # Ensure this runs after the descriptor files are generated
  depends_on = [data.external.proto_generator]

  # Optional: Add content type and etag for caching
  content_type = "application/octet-stream"
  etag         = filemd5("${path.root}/libraries/proto_files/${each.value}")
}

问题分析与解决办法

1. 核心问题：`fileset`在Terraform计划阶段提前执行

Terraform的fileset函数是在计划阶段就会扫描文件路径，而data external的脚本要到计划阶段后期或应用阶段才会执行。这就导致计划阶段扫描时，生成的*_descriptor.desc文件还不存在，for_each的集合为空，aws_s3_object资源直接被跳过，不会触发上传操作。

解决办法：
修改data external的脚本，让它输出生成的文件路径列表，再让aws_s3_object的for_each依赖这个输出：

更新data external的脚本最后部分：

# 收集所有生成的descriptor文件路径并转为JSON数组
files=$(find "${path.root}/libraries/proto_files" -name "*_descriptor.desc" | jq -R . | jq -s .)
# 输出包含文件列表的JSON对象
printf '{"files":%s}' "$files"

修改aws_s3_object的for_each配置：

for_each = toset(data.external.proto_generator.result.files)
# 同时调整source和key，确保路径正确
source = each.value
key    = replace(each.value, "${path.root}/libraries/proto_files/", "")

2. 流水线环境权限与依赖问题

GitLab流水线的执行容器通常以非root用户运行，apk add命令需要root权限，会导致安装依赖失败，但错误输出被重定向到stderr，而Terraform默认不会在流水线日志中展示data source的stderr内容，所以看不到错误。

解决办法：

提前在流水线使用的镜像中预装bash、jq、protobuf等依赖，避免在data external中执行安装命令；
如果无法修改镜像，改用无需root的安装方式，比如用Python的pip install protobuf（若环境已预装Python）。

3. 路径匹配问题

流水线中的代码克隆路径可能和本地不同，path.root对应的目录下，libraries/proto_files或scripts/proto_generator.sh可能不存在，导致脚本执行失败，但错误信息未被捕获。

解决办法：
在data external的脚本开头增加路径检查：

# 检查必要目录和文件是否存在
if [ ! -d "${path.root}/libraries/proto_files" ]; then
  echo "Fatal: proto_files directory not found at ${path.root}/libraries/proto_files">&2
  exit 1
fi
if [ ! -x "${path.root}/scripts/proto_generator.sh" ]; then
  echo "Fatal: proto_generator.sh not found or not executable at ${path.root}/scripts/proto_generator.sh">&2
  exit 1
fi

同时确保流水线中代码仓库完整克隆，目录结构和本地一致。

4. 调试日志无法查看的问题

GitLab流水线默认可能不捕获Terraform data source的stderr输出，导致调试日志看不到。

解决办法：
在流水线的Terraform执行命令中增加TF_LOG=INFO或TF_LOG=DEBUG环境变量，强制输出更详细的日志，包括data source的stderr内容。比如：

export TF_LOG=INFO
terraform apply -auto-approve

内容的提问来源于stack exchange，提问作者dsm

GitLab流水线中Terraform执行脚本上传S3失败及无日志问题排查

生成文件的external数据源配置 #

上传S3的资源配置 #

1. 核心问题：fileset在Terraform计划阶段提前执行 #

2. 流水线环境权限与依赖问题 #

3. 路径匹配问题 #