AWS Glue启用enableUpdateCatalog后任务成功运行却未自动创建分区的问题咨询

看起来你遇到的核心问题是配置与权限的组合问题，咱们一步步拆解解决：

1. 修正updateBehavior参数（最关键的点） #

你当前设置的updateBehavior="LOG"是问题根源！这个模式只会记录应该更新的分区变化，但不会实际执行Catalog的分区创建/更新操作。要让Glue自动同步分区到Catalog，必须把这个参数改成：

additionalOptions["updateBehavior"] = "UPDATE_IN_DATABASE"

这个模式才会触发Glue在写入数据后，自动将S3上的分区路径同步到Glue Catalog中。

2. 确保partitionKeys与目标表定义完全匹配 #

你提到目标表只有1个分区键，但代码里设置了["partition_key0", "partition_key1"]，这会导致Glue无法正确匹配表的分区结构。请严格按照目标表的分区键名称和数量来配置，比如如果表的分区键是partition_key0，就改成：

additionalOptions["partitionKeys"] = ["partition_key0"]

不一致的分区键配置会让Glue直接忽略分区同步操作。

3. 检查Glue任务执行角色的权限 #

如果配置修正后还是无法自动创建分区，大概率是权限不足。你的任务执行角色需要包含以下关键权限：

• glue:CreatePartition：允许创建新分区
• glue:UpdateTable：允许更新表的分区信息
• s3:ListBucket：允许Glue扫描S3路径识别分区结构（自动发现分区需要能列出桶内的分区路径）
• 确保已有S3的读写权限（你已经能写入S3，这部分应该没问题）

可以在IAM控制台给角色添加包含这些权限的策略，示例如下：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "glue:CreatePartition",
                "glue:UpdateTable"
            ],
            "Resource": [
                "arn:aws:glue:<region>:<account-id>:table/<dst_db_name>/<dst_tbl_name>",
                "arn:aws:glue:<region>:<account-id>:database/<dst_db_name>"
            ]
        },
        {
            "Effect": "Allow",
            "Action": "s3:ListBucket",
            "Resource": "arn:aws:s3:::<your-s3-bucket>"
        }
    ]
}

4. 验证Parquet数据的分区路径结构 #

Glue是基于S3的**key=value格式分区路径**（比如partition_key0=2024-01-01/）来识别分区的，确保你的动态帧在写入时确实生成了这种格式的路径。可以去S3控制台检查数据路径，确认分区键和值的格式符合要求。

修正后的完整代码示例 #

additionalOptions = { 
    "enableUpdateCatalog": True, 
    "updateBehavior": "UPDATE_IN_DATABASE"  # 关键修改
}
# 确保和目标表的分区键完全一致
additionalOptions["partitionKeys"] = ["partition_key0"]
my_df = glueContext.write_dynamic_frame_from_catalog(
    frame=last_transform, 
    database=<dst_db_name>, 
    table_name=<dst_tbl_name>, 
    transformation_ctx="DataSink1", 
    additional_options=additionalOptions
)
job.commit()

最后验证步骤 #

运行修改后的任务后，去Glue Catalog查看表的分区，同时可以在Glue任务的日志中搜索Adding partition或Updated partition的关键词，确认是否有分区同步的操作记录。如果还是失败，检查日志里的权限错误提示，针对性补充权限即可。

内容的提问来源于stack exchange，提问作者Vijeth Kashyap