PySpark合并两表时如何避免出现含Null值的多余行？

问题根源分析 #

你的代码存在几个关键错误，直接导致了Null行和异常结果：

1. 列选择语法错误：table1DF.col("lang").col("created_date")不是PySpark的正确写法，这种错误会生成结构异常的DataFrame，进而产生Null行。
2. Union列匹配逻辑错误：PySpark原生union是按位置顺序匹配列，而非列名。如果两个DataFrame的列顺序或结构不统一，会导致数据错位，出现Null值。
3. GroupBy未执行聚合：merged_table.groupBy("lang", "created_date")仅创建了分组对象，没有添加聚合操作（如count()、first()），无法得到预期的合并结果。

修正后的代码 #

from pyspark.sql import functions as F

# 读取源表
table1DF = sparkSession.read.table("Table1")
table2DF = sparkSession.read.table("Table2")

# 正确选择列，确保Table2的字段重命名后与Table1列名、顺序一致
table1 = table1DF.select("lang", "created_date")
table2 = table2DF.select("lang", F.col("ingested_date").alias("created_date"))

# 推荐使用unionByName按列名匹配，避免位置错位问题
merged_table = table1.unionByName(table2)

# 根据需求处理重复/Null行：
# 场景1：去重保留唯一的lang+created_date组合
final_table = merged_table.dropDuplicates(["lang", "created_date"])
# 场景2：聚合统计（比如计数）
# final_table = merged_table.groupBy("lang", "created_date").count()

# 写入目标表
final_table.write.saveAsTable("Table3")

额外避坑要点 #

• 提前过滤原表Null值：如果源表本身存在lang或日期字段的Null值，可提前过滤：

  table1 = table1DF.select("lang", "created_date").filter(F.col("lang").isNotNull() & F.col("created_date").isNotNull())
  table2 = table2DF.select("lang", F.col("ingested_date").alias("created_date")).filter(F.col("lang").isNotNull() & F.col("created_date").isNotNull())
  

• 校验列类型一致性：确保created_date（Table1）和ingested_date（Table2）的字段类型完全一致（如均为DateType），类型不匹配也会导致Union后出现异常Null值。

内容的提问来源于stack exchange，提问作者Amol Aggarwal