Spark DataFrame大小写不敏感读取并保留小写Schema字段问题

问题背景 #

你已在Spark配置中设置"spark.sql.caseSensitive","False"，但自定义Schema里的addressline1/addressline2（全小写）与输入数据的addressLine1/addressLine2（L大写）不匹配，导致数据无法读取；若修改Schema为驼峰格式，合并到Iceberg表时会抛出错误：

AnalysisException：无法对齐Iceberg MERGE INTO

实现步骤（保留Schema小写字段） #

核心思路是先无Schema读取数据，再通过字段重命名映射为目标小写结构，最后对齐Schema：

1. 无Schema读取原始数据
   让Spark自动识别输入数据的结构：

df_raw = spark.createDataFrame(data)

2. 重命名字段匹配目标Schema
   对嵌套的address结构和顶层name字段进行重命名，将驼峰格式转为小写：

from pyspark.sql.functions import col, struct

df_renamed = df_raw.withColumn(
    "address",
    struct(
        col("address.addressLine1").alias("addressline1"),
        col("address.addressLine2").alias("addressline2")
    )
).withColumnRenamed("name", "firstName")

3. 对齐目标Schema（可选）
   如果需要严格匹配自定义Schema的元数据等信息，可强制转换结构：

schema_as_json = StructType.fromJson(schema)
df_final = df_renamed.cast(schema_as_json)

原理说明 #

spark.sql.caseSensitive=False主要作用于SQL查询阶段的字段匹配，而createDataFrame直接指定Schema时，Spark会严格按Schema字段名匹配输入数据的键名，大小写差异会导致匹配失败。通过先读取再重命名的方式，绕开了直接匹配的限制，同时保留了目标Schema的小写字段结构，避免Iceberg合并时的对齐错误。

内容的提问来源于stack exchange，提问作者Asdfg