Scala技术问题：如何在递归方法中实现DataFrame的Union合并

这个问题我之前也碰到过——递归里的局部变量确实没法自动帮你累积结果，每次递归调用都会重新创建局部变量，所以前一次的结果自然就丢了。给你两个实用的解决方案，都是围绕着把所有递归生成的DataFrame片段收集起来，最后一次性合并的思路：

方案一：通过可变列表传递累积结果 #

这种方法的核心是用一个可变的列表作为参数在递归调用中传递，每次递归把当前生成的DataFrame片段追加到列表里。因为列表是可变对象，所有递归调用操作的都是同一个列表，不会丢失之前的结果。

import pandas as pd

def recursive_data_process(input_data, result_collector):
    # 1. 这里替换成你的计算和过滤逻辑，生成当前递归的DataFrame片段
    filtered_df = your_calculation_and_filter_logic(input_data)
    
    # 2. 将当前结果追加到收集器列表中
    result_collector.append(filtered_df)
    
    # 3. 递归终止条件：比如没有子节点/达到深度限制等
    if not has_child_data(input_data):
        return
    
    # 4. 递归调用下一层，传递同一个收集器列表
    child_data = get_child_data(input_data)
    recursive_data_process(child_data, result_collector)

# 初始化空列表作为结果收集器
all_results = []
# 启动递归过程
recursive_data_process(initial_input_data, all_results)

# 5. 最后将所有收集到的DataFrame合并（模拟Union操作）
final_union_df = pd.concat(all_results, ignore_index=True)
# 如果需要像SQL Union那样去重，加上这一行
final_union_df = final_union_df.drop_duplicates()

这种方式的好处是性能更优，因为只需要在最后做一次合并操作，避免了递归过程中多次合并DataFrame带来的开销，适合数据量较大或递归深度较深的场景。

方案二：让递归函数返回合并后的结果 #

如果你觉得传递额外参数麻烦，可以让递归函数直接返回当前片段与子递归结果的合并版，上层调用再继续合并，直到递归结束得到最终的Union结果。

import pandas as pd

def recursive_data_process(input_data):
    # 1. 生成当前递归的DataFrame片段
    filtered_df = your_calculation_and_filter_logic(input_data)
    
    # 2. 终止条件：没有子节点时直接返回当前片段
    if not has_child_data(input_data):
        return filtered_df
    
    # 3. 递归调用子节点，获取子节点的合并结果
    child_merged_df = recursive_data_process(get_child_data(input_data))
    
    # 4. 合并当前片段和子节点结果，返回给上层
    return pd.concat([filtered_df, child_merged_df], ignore_index=True)

# 启动递归，直接得到最终合并结果
final_union_df = recursive_data_process(initial_input_data)
# 如需去重
final_union_df = final_union_df.drop_duplicates()

这种写法更简洁，但要注意：如果递归深度很大或者每个DataFrame片段数据量不小，每次递归都合并会增加额外的内存开销，需要根据实际场景选择。

额外注意事项 #

• 如果你用的是Spark DataFrame，思路完全一致，只需要把pd.concat换成df.union()或df.unionAll()（Spark 3.0+推荐用union），最后再执行行动算子（比如collect()、write()）触发计算。
• 务必确保递归的终止条件清晰明确，避免无限递归导致程序崩溃。

内容的提问来源于stack exchange，提问作者lak