如何在AWS Step Functions全程保留变量？Lambda输出如何传入Glue作业？

以下是几种可行的实现方式，针对你遇到的ResultPath/InputPath无效情况，可逐一尝试：

方法1：通过Step Functions参数直接传递Lambda输出 #

1. 在Step Functions的Lambda任务中，设置ResultPath为$.lambdaResult（将Lambda输出保留到上下文指定路径），示例配置：

   {
     "Type": "Task",
     "Resource": "arn:aws:states:::lambda:invoke",
     "Parameters": {
       "FunctionName": "your-lambda-function"
     },
     "ResultPath": "$.lambdaResult",
     "Next": "YourGlueJob"
   }
   

2. 在后续的Glue作业任务中，通过Parameters字段直接引用上下文里的Lambda输出，比如传递为脚本参数：

   {
     "Type": "Task",
     "Resource": "arn:aws:states:::glue:startJobRun.sync",
     "Parameters": {
       "JobName": "your-glue-job",
       "Arguments": {
         "--lambda-output": "$.lambdaResult"
       }
     }
   }
   

3. 在Glue脚本中，通过sys.argv获取该参数：

   import sys
   # 取出传递的Lambda输出值
   lambda_output = sys.argv[1]
   # 后续业务逻辑处理
   

方法2：将Lambda输出存储到S3，由Glue读取 #

如果Step Functions参数传递有格式限制，可通过S3中转：

1. 在Lambda函数中，把返回值写入S3的JSON文件：

   import boto3
   import json
   
   s3 = boto3.client('s3')
   output_data = {"key": "your-value"}  # Lambda返回的内容
   s3.put_object(
       Bucket="your-s3-bucket",
       Key="lambda-outputs/latest.json",
       Body=json.dumps(output_data)
   )
   

2. 在Glue脚本中直接读取该S3文件：

   import boto3
   import json
   
   s3 = boto3.client('s3')
   response = s3.get_object(
       Bucket="your-s3-bucket",
       Key="lambda-outputs/latest.json"
   )
   lambda_output = json.loads(response['Body'].read().decode('utf-8'))
   

方法3：用Pass任务修正输出结构 #

如果Lambda返回的嵌套结构导致Glue无法正确引用，可在Step Functions中加Pass任务重组数据：

1. 添加Pass任务提取Lambda输出中的目标字段：

   {
     "Type": "Pass",
     "Parameters": {
       "targetValue.$": "$.lambdaResult.Payload.your-target-key"
     },
     "Next": "YourGlueJob"
   }
   

2. 再在Glue任务中引用重组后的targetValue即可。

注意：如果之前用ResultPath无效，检查Lambda输出是否嵌套在Payload字段下（Step Functions调用Lambda时默认会包裹一层Payload），此时需要用$.Payload.your-key这样的路径来引用。

内容的提问来源于stack exchange，提问作者Chetan Patil