PySpark无需Join高效横向拼接同排序稀疏DataFrame的最优方案

针对你这种稀疏DataFrame的合并需求，无需Join或RDD的最优实现是利用Spark的分组聚合取非null有效值，结合数据已按name排序的特性，能高效完成合并：

核心思路 #

每个name在不同分区的记录中，目标列仅存在一个非null值、其余为null。通过按name分组，对每一列取首个非null值（或最大值，因为null不参与计算），即可得到完整的合并行。

代码实现（PySpark） #

方式1：使用first函数（指定忽略null） #

from pyspark.sql import functions as F

# 假设原始DataFrame为df
merged_df = df.groupBy("name").agg(
    *[F.first(col, ignoreNulls=True).alias(col) for col in df.columns if col not in ["name", "partitioned_name"]]
)

方式2：使用max函数（自动忽略null） #

from pyspark.sql import functions as F

merged_df = df.groupBy("name").agg(
    *[F.max(col).alias(col) for col in df.columns if col not in ["name", "partitioned_name"]]
)

方案优势 #

1. 无Join开销：全程基于分组聚合，避免了Join操作带来的大量Shuffle，适合超大规模数据
2. 纯DataFrame API：无需依赖RDD，利用Spark的优化器（如Tungsten执行引擎、自适应执行）实现高效计算
3. 适配排序特性：若数据已按name排序，Spark会利用局部有序性减少Shuffle的数据传输量，进一步提升性能

内容的提问来源于stack exchange，提问作者Junwoo Yun