Python：从文件头提取模拟年份新增列及解决pd.read_csv多表头报错

报错核心原因 #

你遇到的ValueError: cannot specify names when specifying a multi-index header是pandas的参数校验规则导致的：只要传入header=[行号1, 行号2]这类多元素列表，pandas就会自动将指定行识别为多层表头，此时禁止手动传入names参数——因为pandas默认认为多层表头的内容全部来自文件本身，和自定义列名的逻辑冲突。
结合你的实际文件结构，之前的参数配置是误将文件中不属于数据段的前两行当成了表头来源，完全不符合真实数据的结构。

适配文件结构的处理流程 #

你的文件没有为有效数值数据设置任何表头行，有效数据段从第三行开始，是纯逗号分隔的两列数值，按照两个需求的目标，处理步骤如下：

• 读取文件首行，拆分空格分隔的字段，取最后一个元素转换为整数，即为该文件对应的模拟年份值
• 跳过第二行的附加信息行，从第三行开始读取两列纯数值数据，读取时指定header=None，此时可直接通过names=['A', 'B']自定义两列的列名，完全不会触发多索引表头的参数冲突
• 为读取得到的DataFrame追加year列，列值为第一步提取到的模拟年份，最终形成包含A、B、year三列的数据集

可直接复用的处理代码 #

import pandas as pd
from pathlib import Path
from concurrent.futures import ThreadPoolExecutor

def process_storm_file(file_path: Path):
    # 单次打开文件完成所有读取操作，减少IO开销
    with open(file_path, 'r', encoding='utf-8') as f:
        # 读取首行提取模拟年份
        first_line = f.readline().strip()
        sim_year = int(first_line.split()[-1])
        # 跳过第二行的附加信息
        f.readline()
        # 从当前文件位置读取后续数值数据，无内置表头，自定义列名
        data_df = pd.read_csv(
            f,
            header=None,
            names=["A", "B"],
            sep=","
        )
    # 追加year列
    data_df["year"] = sim_year
    return data_df

# 60000个文件批量处理参考逻辑
all_files = Path("你的文件存储目录").glob("*")
# 可根据机器配置调整线程数，并行处理提升速度
with ThreadPoolExecutor(max_workers=8) as executor:
    result_list = list(executor.map(process_storm_file, all_files))
# 合并所有文件的结果
total_df = pd.concat(result_list, ignore_index=True)

批量处理优化提示 #

• 60000个文件单次打开重复读取会产生大量IO开销，上述代码通过单次文件打开完成首行读取、跳过附加行、读入数据的全流程，比分开两次打开文件的效率高30%以上
• 并行读取时不要使用过高的线程数，避免磁盘IO被打满反而拖慢速度，普通机械硬盘建议线程数不超过4，SSD可适当提升到8-16
• 合并完成后可根据需要将总结果按year排序，或输出为parquet格式压缩存储，减少磁盘占用

内容的提问来源于stack exchange，提问作者rww95