Terraform External数据源获取S3存储桶列表报错，请求排查解决

错误原因 #

Terraform的external数据源强制要求外部程序输出JSON格式的键值对（map[string]string），但你的脚本输出的是JSON数组，不符合格式要求，因此触发解析错误。

解决方案 #

方案一：修改Shell脚本适配格式 #

调整cli.sh，将桶列表数组包装为符合要求的JSON对象（把数组转为字符串存入键值对）：

#!/bin/bash
set -e
# 获取桶列表并包装为带键的JSON对象
eval aws s3 ls | awk '{print $3}' | jq -R -s -c 'split("\n")[:-1]' | jq '{"bucket_list": tostring}'

在Terraform中解析字符串为数组：

data "external" "bucket_objects" {
  program = ["bash", "cli.sh"]
}

# 解析得到桶列表数组
locals {
  s3_buckets = jsondecode(data.external.bucket_objects.result.bucket_list)
}

# 验证输出
output "s3_buckets" {
  value = local.s3_buckets
}

方案二：使用Terraform官方AWS数据源（推荐） #

无需依赖外部脚本和AWS CLI，直接通过Terraform的AWS Provider调用API获取桶列表：

data "aws_s3_buckets" "all_buckets" {}

# 输出所有S3桶列表
output "s3_bucket_list" {
  value = data.aws_s3_buckets.all_buckets.buckets
}

该方法更原生稳定，避免了Shell脚本的兼容性问题。

内容的提问来源于stack exchange，提问作者Dave