使用PySpark在Glue中读取同文件夹下Parquet文件时因列数据类型不匹配报错的问题咨询

我之前在AWS Glue里处理Parquet文件时也碰到过一模一样的问题——同文件夹下的文件列名相同但类型（bigint和double）不兼容，批量读取直接报错。给你几个亲测有效的解决办法：

直接定义一个包含所有列的统一Schema，强制Spark/Glue读取时用这个Schema来解析所有文件，从根源避免类型推断冲突。

比如把有冲突的列统一设为DoubleType（如果业务允许，也可以设为BigIntType，记得根据实际数据判断是否会丢失精度）：

from pyspark.sql.types import StructType, StructField, DoubleType, StringType, IntegerType

# 定义统一Schema，替换成你实际的列名和类型
unified_schema = StructType([
    StructField("user_id", IntegerType(), nullable=True),
    StructField("product_name", StringType(), nullable=True),
    StructField("transaction_amount", DoubleType(), nullable=True)  # 这里是类型冲突的列
])

# 用Spark API批量读取（AWS Glue里也可以直接用spark对象）
final_df = spark.read.schema(unified_schema).parquet("s3://your-bucket/your-folder-path/")

# 或者用AWS Glue DynamicFrame的方式
from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext.getOrCreate()
glueContext = GlueContext(sc)

dynamic_frame = glueContext.create_dynamic_frame.from_options(
    connection_type="s3",
    connection_options={"paths": ["s3://your-bucket/your-folder-path/"]},
    format="parquet",
    format_options={"schema": unified_schema.json()}
)

这个方法的优势是高效且可控，只要提前知道列结构，就能一次性解决批量读取的问题。

如果文件夹里的文件数量不多，可以单独读取每个文件，转换冲突列的类型后再合并：

# 读取两个文件
df1 = spark.read.parquet("s3://your-bucket/your-folder-path/file1.parquet")
df2 = spark.read.parquet("s3://your-bucket/your-folder-path/file2.parquet")

# 将df1中的bigint列转为double（如果df2是double的话）
df1_converted = df1.withColumn("transaction_amount", df1["transaction_amount"].cast(DoubleType()))

# 按列名合并两个DataFrame
final_df = df1_converted.unionByName(df2, allowMissingColumns=False)

这个方法适合临时处理少量文件，但如果文件数量多的话就太繁琐了。

如果你的数据是长期维护的，可以用Glue Crawler来生成表，并配置类型冲突的处理规则：

• 创建Crawler时，在Schema Change Policy里选择「Infer and merge」
• 在Type Promotion Policy里选择「Prefer higher precision」（这样遇到bigint和double的冲突时，会自动选用精度更高的double类型）
• 执行Crawler后，直接读取生成的Glue表即可，Crawler已经帮你统一了列类型

注意：Spark的mergeSchema=True参数在这里帮不上忙——它的作用是合并不同文件的列结构（比如某个文件多一列），但无法解决同列不同类型的冲突，别踩这个坑！

内容的提问来源于stack exchange，提问作者Iram