如何调试Terraform external provider并发导致的JSON解析报错问题
Terraform external provider 大输出JSON截断报错问题排查记录
基础环境与问题现象
- 部署基于Terraform 0.14.7完成,目标业务Whook API的部署载体为AWS Lambda。
- 共编写7类约200个脚本(其中1个通用脚本可复用至所有Lambda实例),用于拉取API与各Lambda的配置元数据,脚本实现逻辑可参考Whook代码仓库PR中的对应示例。
- 脚本的Terraform集成通过
externalprovider实现,该provider要求被调用脚本必须向标准输出返回合法JSON格式结果。 - 单脚本独立执行时均能正常返回完整合法JSON,但执行
terraform plan -out=terraform.plan流程时触发报错:Error: command "env" produced invalid JSON: unexpected end of JSON input
已开展的排查动作
- Trace模式运行测试:执行
TF_LOG=TRACE terraform plan -out=terraform.plan 2>&1时计划流程可正常执行完成,初步推断异常消失的原因是大量trace日志输出产生的IO背压降低了并发执行速率,也可能是TRACE/DEBUG模式本身会自动下调并发阈值,暂未确认具体原因。 - 定向日志过滤测试:执行
TF_LOG=TRACE terraform plan -out=terraform.plan 2>&1 | grep terraform-provider-external > out.txt可稳定复现报错,但输出的日志文件中无对应异常栈内容,也未出现前述JSON解析报错信息。 - 故障命令定位尝试:尝试为
env命令设置shell别名以快速定位故障命令,发现Terraform执行外部命令时不加载shell别名配置,该排查路径失效。 - 脚本侧日志校验:尝试在脚本输出端注入调试日志,记录完整JSON输出内容,未发现脚本侧的输出异常。
- 管道输出留存方案预评估:计划通过
tee命令在bash层留存所有脚本输出做校验,目前担心该操作会占用额外文件描述符引入新的问题,暂未落地。
关键排查进展
通过调整external数据源的执行命令,实现stderr独立落盘、stdout同时落盘并回传给provider的日志留存效果,对应配置如下:
data "external" "lambdas" { program = [ "bash", "-ec", <<-EOF echo \"env NODE_ENV=${terraform.workspace} npx whook terraformValues --type='lambdas'\" >> lambdas-stderr.log env NODE_ENV=${terraform.workspace} npx whook terraformValues --type='lambdas' 2>> lambdas-stderr.log | tee lambdas-stdout.log EOF ] working_dir = ".." }
遍历所有留存的输出文件后确认:所有触发报错的异常JSON均在65536字节(2^16)位置被截断,初步推断存在某处对JSON输出的大小限制。
- 调整
parallelism参数到100时可稳定复现问题,初步怀疑问题与系统默认管道缓冲区大小的机制相关,高并发场景下输出读取阻塞时,provider侧无对应的背压处理逻辑。
待推进的排查方向
- 进一步定位JSON输出截断的具体触发点
- 验证管道缓冲区机制与问题的关联性
- 形成稳定可复现的问题解决方法
内容的提问来源于stack exchange,提问作者nfroidure
相关产品推荐
相关产品推荐

