更新AWS Glue表时是否可自动更新分区元数据？

• 现有采用分区结构的S3存储桶，日常通过AWS Athena读取各分区内数据，Athena查询依赖的AWS Glue表通过CloudFormation栈创建。
• CloudFormation栈更新Glue表配置后，必须手动在Athena执行MSCK REPAIR TABLE <table_name>;命令同步分区元数据，跳过该步骤查询时将无法读取到有效数据。目前人工操作经常遗漏该步骤，需要自动化方案实现Glue表更新后自动重载分区元数据，无需人工介入。

S3ServerAccessLogsTable:
  Type: AWS::Glue::Table
  DependsOn: S3ServerAccessLogsDatabase
  Properties:
    CatalogId: !Ref AWS::AccountId
    DatabaseName: 
      Fn::ImportValue: S3ServerAccessLogsDatabase
    TableInput:
      Name: s3_server_access_logs
      Description: !Sub
        - AWS GLue table for viewing server access logs in ${S3Bucket}
        - S3Bucket: !Ref BucketName
      TableType: EXTERNAL_TABLE
      PartitionKeys:
        - Name: bucket
          Type: string
      StorageDescriptor:
        Columns:
          - Name: bucket_owner
            Type: string
          - Name: bucket_name
            Type: string
          - Name: request_date_time
            Type: string
          - Name: remote_ip
            Type: string
          - Name: requester
            Type: string
          - Name: request_id
            Type: string
          - Name: operation
            Type: string
          - Name: key
            Type: string
          - Name: request_uri_operation
            Type: string
          - Name: request_uri_key
            Type: string
          - Name: request_uri_httpProtoversion
            Type: string
          - Name: http_status
            Type: string
          - Name: error_code
            Type: string
          - Name: bytes_sent
            Type: bigint
          - Name: object_size
            Type: bigint
          - Name: total_time
            Type: string
          - Name: turnaround_time
            Type: string
          - Name: referrer
            Type: string
          - Name: user_agent
            Type: string
          - Name: version_id
            Type: string
          - Name: host_id
            Type: string
          - Name: sig_v
            Type: string
          - Name: cipher_suite
            Type: string
          - Name: auth_type
            Type: string
          - Name: end_point
            Type: string
          - Name: tls_version
            Type: string
        InputFormat: org.apache.hadoop.mapred.TextInputFormat
        OutputFormat: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
        Location: !Sub
          - s3://${S3LoggingBucket}/s3-server-access-logs/
          - S3LoggingBucket: !Ref S3ServerAccessLogsBucket
        SerdeInfo:
          SerializationLibrary: org.apache.hadoop.hive.serde2.RegexSerDe
          Parameters:
            "serialization.format": "1"
            "input.regex": '([^ ]*) ([^ ]*) \[(.*?)\] ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) \"([^ ]*) ([^ ]*) (- |[^ ]*)\" (-|[0-9]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ("[^"]*") ([^ ]*)(?: ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*))?.*$'

• 方案1：通过CloudFormation自定义资源自动执行分区修复命令
  直接在现有CloudFormation模板中新增Custom Resource，绑定专用Lambda函数。CloudFormation会在Glue表资源创建/更新完成后自动触发该Lambda，由Lambda调用Athena接口执行MSCK REPAIR TABLE s3_server_access_logs;，轮询确认分区加载完成后，再向CloudFormation返回栈更新成功信号，整个流程完全嵌入栈更新生命周期，不需要人工操作。
  配置时需要给Lambda授予最小必要权限：Athena查询执行权限、对应Glue表的读取权限、Athena查询结果存放S3路径的读写权限，避免权限过大产生安全风险。
• 方案2：配置Glue Crawler按事件触发自动同步分区
  为S3日志路径创建Glue Crawler，绑定到现有Glue表。配置EventBridge事件规则，监控到对应CloudFormation栈更新完成的事件时，自动触发Crawler运行扫描S3路径，同步分区元数据。如果日常使用中也会持续新增分区，还可以追加定时触发规则，按固定周期运行Crawler，覆盖日常新增分区的元数据同步需求。
  该方案会产生少量Glue Crawler运行费用，适合分区变动频繁的场景。
• 方案3：开启Athena分区投影，彻底省略分区修复步骤
  修改现有Glue表配置，开启分区投影功能，根据当前分区键bucket的取值规则配置对应的投影规则。开启后Athena不再依赖Glue中存储的分区元数据，会根据配置的规则直接计算分区对应的S3路径，查询时直接读取目标数据，不管是表结构更新还是后续新增分区，都完全不需要执行MSCK REPAIR TABLE命令，也不需要运行Crawler。
  该方案配置完成后长期维护成本最低，只要分区键取值可枚举、或者符合固定命名规则就可以使用。

方案1、2不需要调整现有表结构，改造成本低；方案3需要调整表的Serde参数增加分区投影配置，长期使用成本最低，可根据实际场景选择。

内容的提问来源于stack exchange，提问作者gerard