Spark DataFrame合并后将指定DataFrame的date_part列值统一填充至结果集对应列的实现方案

首先，你的核心需求是将合并后的DataFrame中Date_part列的空值（来自第二个DataFrame的行）统一替换为第一个DataFrame中的Date_part值（示例中为7/1/2021），同时保留第一个DataFrame原有行的Date_part值。之前的select方法会新增列，而我们需要直接替换原有的Date_part列，可以通过以下两种方式实现：

方法一：直接全局替换（适用于第一个DataFrame的Date_part值完全一致的场景） #

如果第一个DataFrame的Date_part所有行都是同一个值（就像你的示例），可以先提取这个固定值，再用withColumn覆盖整个Date_part列：

from pyspark.sql.functions import lit

# 第一步：从第一个DataFrame(df1)中获取目标Date_part值
target_date_part = df1.select("Date_part").first()[0]

# 第二步：用unionByName合并两个DataFrame（你已经完成这一步）
df_final = df1.unionByName(df2)

# 第三步：替换Date_part列，全局设置为目标值
df_result = df_final.withColumn("Date_part", lit(target_date_part))

这种方法简单直接，替换后所有行的Date_part都会是你需要的固定值，完全符合你的期望。

方法二：条件替换（更灵活，适用于仅需填充空值的场景） #

如果第一个DataFrame的Date_part有不同值，你只想填充第二个DF带来的空值，而保留第一个DF原有行的Date_part，可以用when函数做条件判断：

from pyspark.sql.functions import when, lit

# 提取目标Date_part值（这里取第一个DF的第一个值）
target_date_part = df1.select("Date_part").first()[0]

# 合并DataFrame
df_final = df1.unionByName(df2)

# 仅当Date_part为空时，替换为目标值；否则保留原值
df_result = df_final.withColumn(
    "Date_part",
    when(df_final["Date_part"].isNull(), lit(target_date_part)).otherwise(df_final["Date_part"])
)

这种方法更精准，不会修改第一个DF原有行的Date_part，只处理第二个DF带来的空值行，适合更复杂的场景。

为什么之前的方法会生成额外列？ #

你之前用df_final.select(df_1['date_part'], df_final["*"])，本质是把df1的date_part作为新列添加到结果中，而原df_final的date_part列依然存在，所以会出现重复列。而withColumn是直接对原有列进行替换或修改，不会新增列，这才是你需要的操作。

内容的提问来源于stack exchange，提问作者user175025