EventBridge Pipes对接DynamoDB Stream：目标输入转换时丢失载荷

核心原因分析 #

输入转换后输出为空字符串，大概率是输入转换模板中的JSONPath表达式无法匹配到有效数据，导致整个转换逻辑失败。AWS EventBridge Pipes的输入转换机制中，若任意一个JSONPath路径无法解析（如字段缺失、路径错误），会直接返回空字符串作为转换结果，即使其他字段路径是正确的。

具体排查与修复步骤 #

1. 验证JSONPath表达式的准确性 #

使用EventBridge Pipes配置页面的输入转换测试工具，将你提供的示例输入载荷粘贴进去，测试转换结果：

• 若测试结果为空，逐一核对每个JSONPath路径是否与示例数据完全匹配：
  • 确认$.Records[0].dynamodb.NewImage.jobId.S等路径在实际事件中确实存在
  • 注意DynamoDB Stream的StreamViewType为NEW_IMAGE，确保NewImage包含所有需要的字段

2. 为可选字段添加容错默认值 #

如果某些字段在INSERT/MODIFY事件中可能缺失（比如reviewComment为空或未设置），使用JSONPath的默认值语法避免转换失败：

{
  "notify": "NEW_INPUT",
  "jobId": <$.Records[0].dynamodb.NewImage.jobId.S>,
  "jobTime": <$.Records[0].dynamodb.NewImage.jobTime.S>,
  "jobSpec": {
    "s3Uri": <$.Records[0].dynamodb.NewImage.jobSpec.M.s3Uri.S>,
    "command": <$.Records[0].dynamodb.NewImage.jobSpec.M.command.S>,
    "noSyntheticComment": <$.Records[0].dynamodb.NewImage.jobSpec.M.noSyntheticComment.S>,
    "user": <$.Records[0].dynamodb.NewImage.jobSpec.M.user.S>,
    "reviewStatus": <$.Records[0].dynamodb.NewImage.jobSpec.M.reviewStatus.S>,
    "reviewComment": <$.Records[0].dynamodb.NewImage.jobSpec.M.reviewComment.S || ''>
  }
}

3. 简化模板逐步定位问题 #

先使用最简模板测试转换是否正常：

{
  "notify": "NEW_INPUT",
  "jobId": <$.Records[0].dynamodb.NewImage.jobId.S>
}

若该模板能输出正确结果，再逐步添加其他字段，定位导致转换失败的具体字段。

4. 开启DEBUG级日志排查 #

在EventBridge Pipe的日志配置中，将日志级别调整为DEBUG，查看转换环节的详细错误信息，可直接定位到哪个JSONPath表达式解析失败。

5. 排除权限问题 #

确认EventBridge Pipe拥有dynamodb:DescribeStream和dynamodb:GetRecords权限，虽然日志显示事件已捕获，但权限不足可能导致部分字段无法正常读取（概率较低，但需排除）。

内容的提问来源于stack exchange，提问作者Mayukh Nair