如何在PySpark DataFrame中添加指定虚拟记录并合并？

别用collect()的方式处理，这种方法会把全量数据加载到Driver内存，数据量大时极易触发内存溢出，而且效率极低。推荐用Spark原生的DataFrame操作来添加虚拟记录并合并，具体两种方法如下：

方法一：构造单行字典生成DataFrame后合并 #

这种方式适合明确所有列的情况，通过字典指定目标列值，其余列设为null：

from pyspark.sql import SparkSession
from pyspark.sql.functions import lit

# 1. 构建虚拟记录的字典：先给所有列设为null，再覆盖指定列
dummy_data = {col: None for col in prem_df.columns}
dummy_data["cat"] = "ABC"
dummy_data["val"] = 23.54  # 注意：这里的类型要和原DataFrame的val列一致，原列是字符串就用"23.54"

# 2. 用原DataFrame的schema创建单行虚拟DataFrame
dummy_df = spark.createDataFrame([dummy_data], schema=prem_df.schema)

# 3. 合并原DataFrame和虚拟DataFrame
new_df = prem_df.union(dummy_df)

方法二：基于原Schema构造空DF后添加指定列 #

如果列太多不想写全量字典，可以先创建空DF，再用withColumn指定目标列的值，其余列自动填充null：

# 1. 创建和原DF schema一致的空DataFrame
dummy_df = spark.createDataFrame([], schema=prem_df.schema)

# 2. 给指定列赋值
dummy_df = dummy_df.withColumn("cat", lit("ABC")).withColumn("val", lit(23.54))

# 3. 用unionByName合并（比union更安全，避免列顺序不一致导致的错误）
new_df = prem_df.unionByName(dummy_df)

验证结果 #

执行你原来的查询就能看到新增的记录：

new_df.filter("cat == 'ABC'").select("cat", "val").show()

注意事项 #

• 确保val列的类型和原DataFrame完全匹配：如果原列是数值类型（如FloatType/DoubleType）就用23.54，如果是字符串类型就用"23.54"，否则会触发类型不匹配错误。
• 如果原DataFrame中有非空约束的列，不能给这些列设null，需要设置对应类型的默认值。

内容的提问来源于stack exchange，提问作者user3521180