如何从存在大小写重复键的JSON数据创建DataFrame？

我太懂你这个头疼的问题了——JSON里藏着大小写不同但字面一样的键，比如"email"和"Email"，直接用Spark读JSON创建DataFrame要么报错，要么偷偷丢数据，你之前用RDD逐行改字符串的方法确实效率拉胯，大数据量下根本跑不动。下面给你几个高效的解决方案，都是Spark原生优化的，比RDD那套快多了：

方案1：自定义Schema强制统一字段名（兼容所有Spark版本） #

这是最稳妥的方法，不管你用Spark 2.x还是3.x都能用。先提前定义好你想要的Schema，把所有重复的大小写键统一成同一个名字（比如全小写或者全大写），读取JSON时指定这个Schema，Spark会自动把所有匹配的字段（忽略大小写）映射到你定义的字段上。

举个例子，假设你的JSON里有"name"和"Name"、"age"和"Age"这些重复键：

from pyspark.sql.types import StructType, StructField, StringType, IntegerType

# 定义统一的Schema，所有字段用小写
custom_schema = StructType([
    StructField("name", StringType(), nullable=True),
    StructField("age", IntegerType(), nullable=True)
])

# 读取JSON时指定Schema
df = spark.read.schema(custom_schema).json("/path/to/your/json/files")

如果两个大小写不同的字段都有值，Spark会优先取最后出现的那个（JSON的键顺序可能影响结果），之后你可以用coalesce来合并非空值，比如：

from pyspark.sql.functions import coalesce

# 合并重复列的值，取第一个非空值
df = df.withColumn("unified_name", coalesce(df.name, df.Name)).drop("name", "Name")

方案2：开启大小写不敏感模式（Spark 3.0+） #

Spark 3.0之后新增了全局配置spark.sql.caseSensitive，把它设为false，Spark就会忽略列名的大小写，自动把同名（大小写不同）的列当成同一个列处理。这个方法最简单，适合快速解决问题：

# 先设置全局配置
spark.conf.set("spark.sql.caseSensitive", "false")

# 正常读取JSON
df = spark.read.json("/path/to/your/json/files")

# 合并重复列的值
df = df.withColumn("unified_email", coalesce(df.email, df.Email)).drop("email", "Email")

注意：这个配置是全局的，会影响整个SparkSession的所有表操作，如果你之后需要区分大小写的列名，记得用完改回去。

方案3：用from_json函数处理字符串格式的JSON #

如果你的JSON是存在DataFrame的字符串列里（不是直接读文件），可以用from_json函数配合自定义Schema来解析，同样能统一字段名：

from pyspark.sql.functions import from_json

# 假设你的DataFrame有一个叫json_content的字符串列
df = df.withColumn("parsed_data", from_json(df.json_content, custom_schema))
# 展开解析后的结构体
df = df.select("parsed_data.*")

这些方法都是基于Spark的优化引擎，比你之前用RDD逐行修改字符串快N倍，大数据量下也能轻松扛住。如果还有特殊场景（比如两个重复字段类型不同），可以先把类型统一再合并，比如用cast转换类型后再用coalesce。

内容的提问来源于stack exchange，提问作者abhijeet