如何将字典数据动态添加至Spark RDD的每一行？

实现思路 #

将DataFrame转为RDD后，遍历每一行数据，把业务字典的键值对合并到原行数据中（同名键会被字典的值覆盖），最后再转回DataFrame。这种方式不需要硬编码列名，能适配任意数量的字典键。

完整代码示例 #

from pyspark.sql import SparkSession

# 初始化SparkSession
spark = SparkSession.builder.appName("DynamicDictMerge").getOrCreate()

# 示例数据
d = [{"curr_col1": '75757', "curr_col2": 'hello',"curr_col3": 79,"curr_col4": 'pb',"curr_col45": None,"E_N": None}]
df = spark.createDataFrame(d)

# 业务生成的动态字典
update_dict = {'curr_col45':'55','E_N':'55'}

# 1. 将DataFrame转为RDD，每个元素转为字典
rdd = df.rdd.map(lambda row: row.asDict())

# 2. 合并原行字典与业务字典，同名键被字典值覆盖
updated_rdd = rdd.map(lambda row_dict: {**row_dict, **update_dict})

# 3. 将处理后的RDD转回DataFrame
result_df = spark.createDataFrame(updated_rdd)

# 查看结果
result_df.show()

关键步骤解释 #

• row.asDict()：把Spark的Row对象转换为Python普通字典，方便后续和业务字典合并操作。
• {**row_dict, **update_dict}：利用Python字典解包语法，将业务字典的键值对合并到原行字典中，业务字典的键会覆盖原行的同名键，正好满足替换原空值的需求。
• 动态适配：不管业务字典有多少个键，这个逻辑都能自动处理，不需要修改代码适配列数量。

输出结果 #

执行后result_df的内容与期望一致：

+---------+---------+---------+---------+----------+----+
|curr_col1|curr_col2|curr_col3|curr_col4|curr_col45|E_N|
+---------+---------+---------+---------+----------+----+
|    75757|    hello|       79|       pb|        55|  55|
+---------+---------+---------+---------+----------+----+

内容的提问来源于stack exchange，提问作者pbh