使用pandas read_csv因表头空格报错：定义列未找到，如何解决？

问题根源是源文件表头存在首尾空格，导致read_csv读取的列名与DTYPES中定义的键不匹配，以下是三种可行解决方案：

方案一：提前清洗表头并精准读取（推荐大文件） #

先单独读取表头行并清洗空格，再基于清洗后的列名读取数据，避免加载不必要的列：

# 读取原表头并去除首尾空格
cleaned_headers = pd.read_csv(file_path, sep='|', nrows=0).columns.str.strip()
# 筛选出DTYPES中存在的列
target_cols = [col for col in cleaned_headers if col in DTYPES.keys()]

# 加载数据
data_file = pd.read_csv(
    file_path,
    sep='|',
    error_bad_lines=False,
    dtype=DTYPES,
    usecols=target_cols,
    names=target_cols,  # 指定清洗后的列名
    header=0  # 跳过原始表头行
)

方案二：先读取再清洗列名（适合小文件） #

先完整读取数据，再清洗列名并转换指定列的类型：

# 读取全部数据
data_file = pd.read_csv(
    file_path,
    sep='|',
    error_bad_lines=False
)
# 去除列名首尾空格
data_file.columns = data_file.columns.str.strip()
# 仅保留需要的列并转换类型
data_file = data_file[DTYPES.keys()].astype(DTYPES)

方案三：结合skipinitialspace处理字段空格 #

如果源文件中除了表头，字段值也存在分隔符后的空格，可搭配skipinitialspace=True参数，同时清洗列名：

data_file = pd.read_csv(
    file_path,
    sep='|',
    error_bad_lines=False,
    skipinitialspace=True  # 跳过分隔符后的空格
)
# 清洗列名
data_file.columns = data_file.columns.str.strip()
# 筛选列并转换类型
data_file = data_file[DTYPES.keys()].astype(DTYPES)

内容的提问来源于stack exchange，提问作者Y Bai