如何使用CloudFormation更新AWS Glue Jobs？S3脚本更新触发难题

CloudFormation仅通过模板参数或资源属性的变更判断是否需要更新资源，S3脚本内容变化但路径不变时，CFN无法感知到变化。以下是几个实用的解决办法：

• 给脚本路径添加版本/哈希参数
  在Glue任务的ScriptLocation里加入版本号或脚本内容的哈希值作为查询参数，比如s3://my-bucket/glue-scripts/my-job.py?v=20240520。每次更新脚本时，修改这个版本号或重新计算哈希值，CFN会检测到ScriptLocation属性变化，自动更新Glue任务。
  可以用AWS CLI自动计算S3对象的ETag作为哈希值，部署时传入参数：

  aws cloudformation deploy \
    --template-file glue-jobs.yml \
    --stack-name my-glue-stack \
    --parameter-overrides ScriptETag=$(aws s3api head-object --bucket my-bucket --key glue-scripts/my-job.py --query ETag --output text | tr -d '"')
  

  模板里的ScriptLocation就写成：s3://my-bucket/glue-scripts/my-job.py?etag={ScriptETag}，Glue会正常加载脚本，不会受查询参数影响。

• 添加“伪属性”触发更新
  在CloudFormation模板的GlueJob资源中，新增一个不影响功能的属性（比如Description），每次更新脚本时修改这个属性的值（比如加上当前时间戳）。CFN会识别到属性变更，重新部署Glue任务，从而拉取最新的S3脚本。示例片段：

  Resources:
    MyETLJob:
      Type: AWS::Glue::Job
      Properties:
        Name: ETL-User-Data
        Role: !Ref GlueExecutionRole
        Command:
          Name: glueetl
          ScriptLocation: s3://my-bucket/glue-scripts/user-data-etl.py
        Description: "ETL job updated: 2024-05-20 14:30" # 每次更新脚本时修改这里
  

• 强制指定资源更新
  如果不想修改模板，可以用CloudFormation命令强制更新指定的Glue任务资源：

  aws cloudformation update-stack \
    --stack-name my-glue-stack \
    --template-file glue-jobs.yml \
    --resources-to-update MyETLJob,AnotherGlueJob
  

  这种方法适合临时手动更新，适合任务数量不多的场景。

• 用自定义资源自动检测脚本变化
  编写一个Lambda自定义资源，每次CFN部署时检查S3脚本的ETag或最后修改时间。如果和之前记录的不一致，就调用Glue的UpdateJob API刷新任务，同时更新存储的ETag（可以存在SSM参数或DynamoDB里）。这种方法适合需要完全自动化的大规模任务场景，无需手动修改参数或属性。

内容的提问来源于stack exchange，提问作者wz366