如何将子Step Functions输出合并到父Step Functions？Glue Crawlers场景

问题分析 #

你使用的官方示例中，父Step Functions的Map状态默认未正确配置结果收集逻辑，导致最终仅保留最后一个子爬虫的执行结果，而非全部子任务的输出。核心原因是Map状态的结果路径配置未设置为收集所有迭代输出，或是子任务的输出未完整传递回父状态机。

修改步骤 #

1. 调整Map状态的核心配置 #

在父状态机的Map状态定义中，重点修改以下两个参数：

• ResultPath：设置为$.crawlerResults（或自定义的路径），让Map状态将所有子任务的执行结果收集到该路径下的数组中，而非覆盖原有输入。
• ItemsPath：确认指向你传入的爬虫列表参数（比如$.crawlers），保证Map能遍历所有需要执行的爬虫。

修改后的Map状态片段示例：

"Map": {
  "Type": "Map",
  "ItemsPath": "$.crawlers",
  "ResultPath": "$.crawlerResults",
  "Iterator": {
    "StartAt": "Start Crawler",
    "States": {
      // 原有子状态机逻辑（启动爬虫、等待完成等）
    }
  }
}

2. 确保子任务输出完整传递 #

在Map迭代内的状态（比如启动爬虫、查询状态的任务）中，通过ResultPath保留每个爬虫的执行结果，避免输出被覆盖或丢失。例如在查询爬虫状态的任务中配置：

"Get Crawler Status": {
  "Type": "Task",
  "Resource": "arn:aws:states:::aws-sdk:glue:getCrawler",
  "Parameters": {
    "Name.$": "$.crawlerName"
  },
  "ResultPath": "$.singleCrawlerResult",
  "Next": "Check Crawler Complete"
}

3. 验证输出结构 #

修改完成后执行状态机，父状态机的最终输出里，$.crawlerResults（或你指定的路径）会是一个数组，包含每个爬虫的完整执行结果，而非单个结果。

关键原理 #

Step Functions的Map状态默认会将每个迭代的输出收集为数组，但如果ResultPath配置错误（比如设为null或覆盖输入），会导致结果丢失。正确配置ResultPath后，Map状态会自动将所有子任务的输出合并成数组，传递给后续状态或作为最终输出。

内容的提问来源于stack exchange，提问作者Mayura