PySpark多表同列关联优化：递归Join内存溢出问题求助

你的递归Join方案内存溢出的核心原因是：每次Join都会重复保留关联字段(a,b,c,d,e)，经过100次循环后，这些字段会被冗余存储101次，导致内存占用指数级增长。结合所有表行数一致、关联字段内容完全相同的前提，以下是几个高效优化方案：

方案1：提取子表x_n字段直接拼接 #

因为主表和子表的(a,b,c,d,e)完全一致，不需要通过Join来对齐，直接从每个子表中取出唯一的x_n列，按行顺序拼接到主表即可。

代码示例：

result_df = primary_df.copy()

for tmp_df in df_100_list:
    # 筛选出子表中不属于主表的字段（即x_n）
    x_col = [col for col in tmp_df.columns if col not in primary_df.columns]
    # 直接拼接x_n列到结果表
    result_df = pd.concat([result_df, tmp_df[x_col]], axis=1)

该方案内存占用仅为主表加上所有x_n列的总和，完全避免了关联字段的冗余存储，是最节省内存的方式。

方案2：批量合并子表x_n字段后再拼接 #

如果子表数量较多，可以先一次性收集所有子表的x_n字段合并成一张表，再和主表做一次拼接：

# 收集所有子表的x_n列
x_dfs = []
for tmp_df in df_100_list:
    x_col = [col for col in tmp_df.columns if col not in primary_df.columns]
    x_dfs.append(tmp_df[x_col])

# 合并所有x_n列
combined_x_df = pd.concat(x_dfs, axis=1)

# 与主表合并得到最终结果
result_df = pd.concat([primary_df, combined_x_df], axis=1)

这种方式减少了循环中多次合并的中间内存开销，逻辑更清晰。

方案3：分块处理（针对超大型表） #

如果单张表本身数据量极大，上述方案仍内存紧张，可以按行数分块处理：

• 将主表和所有子表拆分为相同大小的块
• 对每个块执行列拼接操作
• 最后合并所有块得到最终表

代码示例：

chunk_size = 10000  # 根据自身内存情况调整分块大小
result_chunks = []

for i in range(0, len(primary_df), chunk_size):
    # 取出主表当前分块
    primary_chunk = primary_df.iloc[i:i+chunk_size]
    # 收集所有子表对应分块的x_n列
    x_chunks = []
    for tmp_df in df_100_list:
        x_col = [col for col in tmp_df.columns if col not in primary_df.columns]
        x_chunks.append(tmp_df[x_col].iloc[i:i+chunk_size])
    # 合并当前分块的所有列
    combined_chunk = pd.concat([primary_chunk] + x_chunks, axis=1)
    result_chunks.append(combined_chunk)

# 合并所有分块
result_df = pd.concat(result_chunks, axis=0)

核心优化逻辑 #

递归Join的本质问题是重复存储了完全一致的关联字段，而上述所有方案都围绕消除关联字段冗余存储展开，利用行顺序一致的前提直接做列拼接，内存效率提升非常显著。

内容的提问来源于stack exchange，提问作者yanachen