批量解析多个文件生成单个DataFrame的更优实现方法咨询

问题核心原因 #

原有代码存在两个核心问题：

• 初始化all_data = [[]]多了一个空列表元素，会导致最终生成的DataFrame多一行空数据，转置后额外多出一列空值
• 把每个文件提取的value列（Series类型）直接追加到列表后，生成DataFrame时默认把每个Series作为行处理，才需要额外转置，还容易因为不同文件的索引长度不一致触发报错

推荐实现代码 #

import pandas as pd

all_cols = []  # 直接存储每个文件提取的列数据

for i, filename in enumerate(file_list):
    filepath = path + filename
    df = pd.read_csv(filepath, sep='\t', header=None, names=colsList)
    # 此处保留你原有的数据清洗、转换逻辑
    # 提取指定列，直接重命名为对应汇总后的列名，后续不需要再修改列名
    target_col = df['value'].rename(name_list[i])
    all_cols.append(target_col)

# 直接按列拼接所有提取的列，自动对齐行索引
df_all = pd.concat(all_cols, axis=1)

方案优势 #

• 不需要手动转置，pd.concat指定axis=1直接按列拼接，完全匹配按列追加的需求
• 自动处理不同文件提取的列长度不一致的情况，缺失位置自动填充NaN，不会直接报错
• 提前对每个提取的列重命名，省去后续修改列名的步骤，代码更简洁

适配特殊场景的优化 #

如果所有文件提取的value列长度完全一致，且不需要保留原索引，可以直接提取值数组拼接，性能更高：

import pandas as pd
import numpy as np

all_data = []
for filename in file_list:
    filepath = path + filename
    df = pd.read_csv(filepath, sep='\t', header=None, names=colsList)
    # 此处保留你原有的数据清洗、转换逻辑
    all_data.append(df['value'].values)

# 转置数组后生成DataFrame，直接指定列名
df_all = pd.DataFrame(np.array(all_data).T, columns=name_list)

内容的提问来源于stack exchange，提问作者Mark R