AWS Glue表添加null分区值避免转为字符串'null'的方法问询

核心原因 #

Glue Catalog兼容Hive分区规范，直接给分区列传null或者字符串'null'时，接口会将其识别为字符串字面量存储，无法匹配实际的null值分区语义。

解决方法 #

调用CreatePartition、BatchCreatePartition等添加分区的接口时，对应null值的分区位置传入Hive默认分区标记__HIVE_DEFAULT_PARTITION__即可，无需修改S3上已有的state=null路径。
示例PartitionInput参数结构参考：

{
  "Values": ["__HIVE_DEFAULT_PARTITION__"],
  "StorageDescriptor": {
    "Location": "s3://bucket/key/state=null",
    // 其余存储描述配置和其他state分区的配置保持一致
  },
  // 其他可选参数按需填写
}

验证说明 #

分区添加完成后，在Glue Catalog中该分区的state字段值为真正的null值，过滤时使用state is null即可匹配，不会被识别为state = 'null'的字符串值。
如果使用Glue爬网程序自动扫描S3分区，爬网程序会默认将state=null路径识别为null值分区，无需额外配置。

内容的提问来源于stack exchange，提问作者Rakshith