PySpark中如何高效将单行表值追加到另一表的所有行

这个需求完全可以实现，以下是两种生产环境常用的高效实现方案：

方案1：交叉连接（cross join） #

由于第二个df仅包含1行数据，交叉连接不会产生数据冗余，是该场景下性能最优的方案之一，无shuffle开销，执行效率极高。

# 假设第一个多行列df命名为df1，单行C列df命名为df2
result_df = df1.crossJoin(df2)

*注：该方法适配PySpark 2.1及以上版本，无需额外配置。

方案2：常量值直接赋值 #

先提取单行df的固定值，直接作为新列追加到原表，代码逻辑更直观。

from pyspark.sql.functions import lit

# 提取C列的唯一值
c_val = df2.collect()[0][0]
# 追加新列
result_df = df1.withColumn("C", lit(c_val))

方案选型建议 #

• 若后续单行df可能扩展为多列/少量行数，优先选交叉连接方案，后续维护成本更低
• 若确认单行df永远只有一个固定值，优先选常量赋值方案，逻辑更易读

内容的提问来源于stack exchange，提问作者amggg013