如何获取S3新增文件详情并作为参数传递给Glue工作流

完全可以实现，不要直接用S3事件直连Glue工作流——直连模式无法自动解析事件内的文件元数据作为自定义参数，标准落地链路是S3事件→EventBridge→中转Lambda→Glue工作流，整套配置不需要改动你现有通用Glue作业的核心处理逻辑。

配置步骤 #

• 第一步：开启S3事件推送
  进入目标S3存储桶的属性页，找到「事件通知」板块，打开「发送事件到Amazon EventBridge」开关，后续在EventBridge侧配置规则，仅筛选s3:ObjectCreated:*（对象创建完成）类型的事件，过滤掉删除、标签修改这类无关事件，避免误触发。
• 第二步：部署中转Lambda做参数提取与工作流触发
  Lambda的核心逻辑是解析EventBridge投递的S3事件结构体，提取你需要的文件信息后，主动调用Glue接口启动工作流并传入参数，Python运行时的参考代码如下：

  import boto3
  import json
  from urllib.parse import unquote
  
  glue_client = boto3.client('glue')
  WORKFLOW_NAME = "替换成你自己的Glue工作流名称"
  
  def lambda_handler(event, context):
      for record in event['Records']:
          # 提取S3资源信息，自动解码转义字符
          bucket_name = record['s3']['bucket']['name']
          file_key = unquote(record['s3']['object']['key'])
          file_name = file_key.split("/")[-1]
          s3_uri = f"s3://{bucket_name}/{file_key}"
  
          # 启动工作流，传入自定义参数
          glue_client.start_workflow_run(
              Name=WORKFLOW_NAME,
              RunProperties={
                  "input_file_name": file_name,
                  "input_s3_uri": s3_uri,
                  "input_bucket": bucket_name,
                  "input_file_key": file_key
              }
          )
      return {"statusCode": 200}
  

  记得给这个Lambda的执行角色绑定两个核心权限：允许调用glue:StartWorkflowRun操作对应工作流，允许接收EventBridge的事件触发权限。
• 第三步：Glue作业侧接收参数
  工作流内的Glue作业节点不需要特殊改造，只需要在作业参数配置里，把工作流的RunProperties映射为作业启动参数即可，你现有通用作业里直接通过Glue内置方法读取参数就能用，参考读取代码：

  import sys
  from awsglue.utils import getResolvedOptions
  
  # 读取传入的文件参数
  args = getResolvedOptions(sys.argv, ["input_file_name", "input_s3_uri"])
  # 后续直接复用你原有的逻辑，根据args["input_file_name"]走对应处理分支即可
  

避坑提示 #

• 如果要求严格单文件对应单次Glue作业触发，给Lambda触发器配置批处理大小为1即可；如果短时间内会有大量小文件落地，可以配置10-30s的批处理窗口，在Lambda内做文件分组后再触发作业，避免工作流运行数量过多撑爆资源配额。
• 不要漏掉URL解码步骤：S3事件里的对象key是经过URL编码的，如果文件名有空格、中文、特殊符号，不解码会拿到带%20、%E4%B8%AD这类转义字符的错误路径。
• 如果不想维护Lambda代码，也可以用EventBridge Pipes直接做事件字段映射，将S3事件内的桶名、文件key字段直接映射为Glue工作流的启动参数，零代码就能实现，但遇到文件去重、特殊格式文件名处理、自定义路由这类需求时灵活性不足。

内容的提问来源于stack exchange，提问作者Techno_Eagle