PySpark中字符串列分组问题：合并DataFrame空值字段求助

针对你的需求，核心是按A、B、C分组后，提取D、E列的非空值合并到一行，不需要复杂的自连接或pivot，直接用支持忽略null的聚合函数即可实现。

核心思路 #

对字符串列使用first(column, ignorenulls=True)或max(column)聚合函数，这两个函数都会自动忽略null值，提取分组内的非空字符串：

• first：指定ignorenulls=True后，会优先取分组内第一个非空值
• max：字符串类型中，null会被视为小于任何非空字符串，因此max会直接返回分组内的非空值

PySpark 代码示例 #

首先创建示例DataFrame：

from pyspark.sql import SparkSession
from pyspark.sql.functions import first, max

spark = SparkSession.builder.appName("merge_null_columns").getOrCreate()

# 构建你的原始数据
data = [
    (1, 2, "some", None, "something A"),
    (1, 2, "some", "something B", None)
]
df = spark.createDataFrame(data, ["A", "B", "C", "D", "E"])

方法1：使用first函数（推荐）

result_df = df.groupBy("A", "B", "C") \
              .agg(
                  first("D", ignorenulls=True).alias("D"),
                  first("E", ignorenulls=True).alias("E")
              )

result_df.show()

方法2：使用max函数

result_df = df.groupBy("A", "B", "C") \
               .agg(
                   max("D").alias("D"),
                   max("E").alias("E")
               )

result_df.show()

两种方法运行后都会得到你需要的输出：

+---+---+-----+-----------+-----------+
|  A|  B|    C|          D|          E|
+---+---+-----+-----------+-----------+
|  1|  2|some |something B|something A|
+---+---+-----+-----------+-----------+

补充说明 #

你之前尝试的自连接如果逻辑不当，可能会产生重复行或遗漏值；pivot更适合将行数据转为列的场景，而你的需求本质是分组聚合，因此用上述方法更直接高效。

内容的提问来源于stack exchange，提问作者sebastian alegria