如何将含不同键的RDD键值对FlatMap转换为Spark DataFrame？

给你几个可行的解决方案：

方法一：用Spark自动推断Schema（最省心） #

直接调用createDataFrame把RDD转成DataFrame就行，Spark会自动扫描所有元素，把出现过的所有键作为列名，缺字段的行自动补null，完全不用手动收集键，从根源避免分区数据不全导致的报错。

代码示例：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("RDDToDF").getOrCreate()
df = spark.createDataFrame(records_rdd2)
df.show()

执行后输出的DataFrame就是你要的结构，缺class的那行会显示null。

方法二：手动统一所有字典的键 #

如果一定要自己控制列名，可以先拿到所有唯一键，再给每个字典补全缺失的键（值设为None），最后转DF。注意如果RDD数据量特别大，collect所有键会占Driver内存，谨慎用。

代码示例：

# 提取所有唯一键
all_keys = records_rdd2.flatMap(lambda x: x.keys()).distinct().collect()
# 给每个字典补全缺失的键
unified_rdd = records_rdd2.map(lambda x: {key: x.get(key, None) for key in all_keys})
# 转DataFrame
df = unified_rdd.toDF()
df.show()

方法三：手动定义Schema（精确控制数据类型） #

如果需要指定列的类型，不想让Spark自动推断，可以手动写StructType，再转DF，缺失的字段同样会自动补null。

代码示例：

from pyspark.sql.types import StructType, StructField, StringType

# 定义包含所有可能列的Schema
schema = StructType([
    StructField("name", StringType(), nullable=True),
    StructField("age", StringType(), nullable=True),
    StructField("class", StringType(), nullable=True)
])

df = spark.createDataFrame(records_rdd2, schema=schema)
df.show()

内容的提问来源于stack exchange，提问作者war_wick