如何无多if-else块判断DataFrame初始化并完成多DataFrame交集合并

可以把文件和对应表头打包成统一结构，通过循环批量处理来避免重复的if判断，同时自动忽略不存在的文件，彻底解决未定义变量导致的UnboundLocalError，具体实现如下：

import os
import pandas as pd
from functools import reduce

# 将文件路径与对应表头配对，统一管理便于批量处理
file_header_pairs = [
    (file1, header_1),
    (file2, header_2),
    (file3, header_3)
]

# 收集所有成功读取的DataFrame
valid_dfs = []
for file_path, header in file_header_pairs:
    if os.path.exists(file_path):
        df = pd.read_csv(file_path, header=None, names=header, sep=',', index_col=None)
        valid_dfs.append(df)

# 处理无有效文件的边界情况
if not valid_dfs:
    concatenated_df = pd.DataFrame()  # 可根据需求返回空表或做其他处理
else:
    # 计算所有有效DataFrame的共有列
    common_columns = reduce(lambda col_set, df: col_set.intersection(df.columns), valid_dfs, valid_dfs[0].columns)
    # 过滤列并合并所有DataFrame
    filtered_dfs = [df[common_columns] for df in valid_dfs]
    concatenated_df = pd.concat(filtered_dfs, ignore_index=True)

核心优势： #

• 用列表统一管理文件与表头，新增/删除文件时只需修改一处，代码扩展性更强
• 仅收集存在的文件对应的DataFrame，从根源避免未定义变量问题
• 借助reduce自动计算任意数量DataFrame的列交集，无需提前判断有几个有效文件
• 增加空列表判断，避免无有效文件时出现报错

内容的提问来源于stack exchange，提问作者RKIDEV