如何让AWS Step Functions所有步骤使用统一日期生成S3路径？

当然可以实现，有两种可靠的方式来确保所有步骤使用相同的日期目录：

1. 工作流启动时统一生成路径前缀，传递给所有步骤 #

这是最稳妥的方案，能保证所有步骤使用工作流启动时刻的日期时间，避免因步骤执行延迟导致路径不一致。

方式1：用Step Functions内置函数生成前缀（无需额外Lambda） #

在工作流的起始Pass状态中，利用States.CurrentDate()和States.Format等内置函数生成统一的日期前缀，然后将这个前缀传递给后续所有步骤：

{
  "StartAt": "GenerateS3Prefix",
  "States": {
    "GenerateS3Prefix": {
      "Type": "Pass",
      "Parameters": {
        // 生成格式为 my-step-function/YYYY/MM/DD/HH/mm 的前缀
        "s3Prefix.$": "States.Format('my-step-function/{}/{}/{}/{}/{}', 
          States.ArrayGetItem(States.StringSplit(States.CurrentDate(), '-'), 0),
          States.ArrayGetItem(States.StringSplit(States.CurrentDate(), '-'), 1),
          States.ArrayGetItem(States.StringSplit(States.StringSplit(States.CurrentDate(), '-'), 2), 0),
          States.ArrayGetItem(States.StringSplit(States.StringSplit(States.CurrentDate(), 'T'), 1), 0),
          States.ArrayGetItem(States.StringSplit(States.StringSplit(States.CurrentDate(), ':'), 1), 0)
        )"
      },
      "Next": "Step1"
    },
    "Step1": {
      "Type": "Task",
      "Resource": "arn:aws:lambda:us-east-1:123456789012:function:Step1Writer",
      "Parameters": {
        // 拼接完整S3路径：s3://my-bucket/[前缀]/step1/
        "targetS3Path.$": "States.Format('s3://my-bucket/{}/step1/', $.s3Prefix)"
      },
      "Next": "Step2"
    },
    "Step2": {
      "Type": "Task",
      "Resource": "arn:aws:lambda:us-east-1:123456789012:function:Step2Writer",
      "Parameters": {
        "targetS3Path.$": "States.Format('s3://my-bucket/{}/step2/', $.s3Prefix)"
      },
      "Next": "Step3"
    }
    // 后续步骤依此类推，复用$.s3Prefix变量
  }
}

方式2：用Lambda函数生成前缀（适合复杂日期需求） #

如果需要时区转换、自定义日期格式等复杂逻辑，可以在工作流起始节点调用Lambda函数生成前缀，再将结果传递给后续步骤：

Lambda示例代码（Python）：

import datetime

def lambda_handler(event, context):
    # 按需求生成日期前缀，这里用UTC时间
    now = datetime.datetime.utcnow()
    s3_prefix = f"my-step-function/{now.year}/{now.month:02d}/{now.day:02d}/{now.hour:02d}/{now.minute:02d}"
    return {"s3Prefix": s3_prefix}

然后在Step Functions中调用这个Lambda，将返回的s3Prefix传入后续任务。

2. 直接在各步骤生成前缀（仅适合执行时间极短的工作流） #

如果工作流所有步骤能在同一分钟内完成，可以直接在每个步骤中用内置函数生成前缀，但要注意：States.CurrentDate()返回的是当前状态执行时刻的时间，若步骤间有延迟，可能导致日期目录不一致。

示例（每个步骤中直接生成路径）：

"Step1": {
  "Type": "Task",
  "Resource": "arn:aws:lambda:us-east-1:123456789012:function:Step1Writer",
  "Parameters": {
    "targetS3Path.$": "States.Format('s3://my-bucket/my-step-function/{}/{}/{}/{}/{}/step1/', 
      States.ArrayGetItem(States.StringSplit(States.CurrentDate(), '-'), 0),
      States.ArrayGetItem(States.StringSplit(States.CurrentDate(), '-'), 1),
      States.ArrayGetItem(States.StringSplit(States.StringSplit(States.CurrentDate(), '-'), 2), 0),
      States.ArrayGetItem(States.StringSplit(States.StringSplit(States.CurrentDate(), 'T'), 1), 0),
      States.ArrayGetItem(States.StringSplit(States.StringSplit(States.CurrentDate(), ':'), 1), 0)
    )"
  }
}

注意事项 #

• 确保所有任务的IAM角色拥有对应S3路径的写入权限。
• 若使用内置函数拆分日期，States.CurrentDate()返回的ISO格式字符串（如2024-05-20T14:30:00Z）拆分后自动带前导零，无需额外处理。

内容的提问来源于stack exchange，提问作者user3289736