使用Glue 4.0读取S3分区Parquet遇冲突列名错误的调试与绕过方法

一、快速定位冲突的分区文件夹 #

方法1：用AWS CLI批量扫描 #

通过命令提取所有分区键并统计出现频率，快速找出不一致的键：

aws s3 ls s3://your-bucket/path/to/parquet/ --recursive | grep -E "=.*$" | awk -F'/' '{print $NF}' | cut -d'=' -f1 | sort | uniq -c

输出中次数异常的键（比如大小写不一致、额外多出来的键）就是冲突来源，比如有的分区用user_id，有的用User_ID，或者存在不属于4个预设分区的键。

方法2：用Glue脚本遍历验证 #

写一段Glue Python脚本扫描S3路径，提取分区键并校验一致性：

import boto3
from pyspark.context import SparkContext
from awsglue.context import GlueContext

sc = SparkContext()
glueContext = GlueContext(sc)
s3 = boto3.client('s3')

bucket = "your-bucket"
prefix = "path/to/parquet/"

# 分页列出所有分区文件夹
paginator = s3.get_paginator('list_objects_v2')
response_iterator = paginator.paginate(Bucket=bucket, Prefix=prefix, Delimiter='/')

partition_keys = []
for page in response_iterator:
    for common_prefix in page.get('CommonPrefixes', []):
        path_segment = common_prefix['Prefix'].split('/')[-2]
        if '=' in path_segment:
            key = path_segment.split('=')[0]
            partition_keys.append(key)

# 统计每个键的出现次数
key_counts = {}
for key in partition_keys:
    key_counts[key] = key_counts.get(key, 0) + 1

# 找出不符合4分区架构的异常键
expected_count = len(partition_keys) // 4
for key, count in key_counts.items():
    if count != expected_count:
        print(f"冲突分区键: {key}，出现次数: {count}")

脚本会自动识别出出现次数不符合4级分区规则的键，定位对应的问题文件夹。

二、临时绕过错误的方案 #

如果需要先读取数据再修复分区结构，可以修改Spark配置关闭分区列校验：

# 添加配置关闭分区类型推断、开启Schema合并
spark.conf.set("spark.sql.sources.partitionColumnTypeInference.enabled", "false")
spark.conf.set("spark.sql.parquet.mergeSchema", "true")

# 读取数据
df = spark.read.parquet("s3://your-bucket/path/to/parquet/")

注意：此方法仅作为临时应急方案，可能导致分区列数据类型不一致或丢失，后续必须修复分区结构避免隐患。

内容的提问来源于stack exchange，提问作者Yefet