PySpark无共同列DataFrame横向拼接异常问题求助

你用monotonically_increasing_id()生成ID做join的方法行不通，原因是这个函数生成的ID不是连续的全局唯一值——它是基于Spark分区生成的，每个分区会分配一段不重叠的ID范围。两个DataFrame的分区布局大概率不同，各自生成的ID几乎没有交集，所以inner join后结果集的行数远低于预期。

正确解决方案（按行序一一拼接） #

如果两个DataFrame的行数完全一致，且需要按行的顺序横向拼接，应该用row_number()窗口函数生成连续的全局行号，再基于行号做join：

from pyspark.sql import Window
from pyspark.sql.functions import row_number, lit

# 定义窗口规则：如果有业务上的排序字段，替换lit(1)为该字段，保证行序符合预期
window_spec = Window.orderBy(lit(1))

# 给两个DataFrame添加连续行号
df_assembled = df_assembled.withColumn("row_id", row_number().over(window_spec))
outlier_df = outlier_df.withColumn("row_id", row_number().over(window_spec))

# 基于行号执行inner join
result_df = df_assembled.join(outlier_df, on="row_id", how="inner")

# 验证结果计数
print(df_assembled.count())
print(outlier_df.count())
print(result_df.count())

注意事项 #

• 如果你的数据量很大，orderBy(lit(1))会触发全量shuffle（把所有数据放到一个分区），可能影响性能。这种情况下，如果你有天然的排序键（比如时间戳、业务ID），一定要替换lit(1)为该字段，既能保证行序正确，又能避免全量shuffle。
• 如果两个DataFrame行数不一致，横向拼接的逻辑需要重新明确——Spark没有类似Pandasconcat(axis=1)的无关联横向拼接方法，因为分布式环境下无法保证行的对应关系，这种情况需要先定义行的匹配规则再执行join。

内容的提问来源于stack exchange，提问作者yashaswi k