Pandas read_csv：不区分大小写列名时如何使用dtypes与converters参数

当你通过usecols=lambda x: x.lower() in ['foo', 'bar']筛选列、并将列名统一转小写后，以下几种方法可以让你正常使用dtypes和converters参数：

优化版表头映射方案（基于你的临时方案2） #

这是性能最优的方案，仅读取文件表头建立映射，无需全量加载数据：

import pandas as pd

def read_csv_case_insensitive(file_path, target_cols, dtypes=None, converters=None):
    # 读取表头行，处理分隔符（默认逗号，可根据实际调整）
    with open(file_path, 'r') as f:
        header = f.readline().strip().split(',')
    # 构建原列名（保留大小写）与目标小写列名的映射
    col_mapping = {col: col.lower() for col in header if col.lower() in target_cols}
    reverse_mapping = {lower_col: orig_col for orig_col, lower_col in col_mapping.items()}
    
    # 调整dtypes的键为原始列名
    adjusted_dtypes = {reverse_mapping[col]: dtype for col, dtype in (dtypes or {}).items()}
    # 调整converters的键为原始列名
    adjusted_converters = {reverse_mapping[col]: func for col, func in (converters or {}).items()}
    
    # 加载数据并统一列名
    df = pd.read_csv(
        file_path,
        usecols=lambda x: x.lower() in target_cols,
        dtype=adjusted_dtypes,
        converters=adjusted_converters
    )
    df.columns = df.columns.str.lower()
    return df

# 使用示例
target_cols = ['foo', 'bar']
# 指定目标小写列的类型和转换函数
dtypes = {'foo': int, 'bar': str}
converters = {'bar': lambda x: x.strip()}

df = read_csv_case_insensitive('your_data.csv', target_cols, dtypes=dtypes, converters=converters)
print(df['foo'])

该方案仅读取一行表头，性能损耗可忽略，同时能精准为目标列指定类型或转换逻辑。

利用临时小数据集获取列映射 #

如果文件分隔符不是标准逗号（如制表符），可以用pandas读取一行数据来自动解析表头，避免手动处理分隔符：

import pandas as pd

target_cols = ['foo', 'bar']
# 读取一行数据获取原始列名
temp_df = pd.read_csv('your_data.csv', nrows=1)
col_mapping = {col: col.lower() for col in temp_df.columns if col.lower() in target_cols}
reverse_mapping = {v: k for k, v in col_mapping.items()}

# 调整dtypes和converters
dtypes = {'foo': int, 'bar': str}
adjusted_dtypes = {reverse_mapping[col]: dtype for col in dtypes}
converters = {'bar': lambda x: x.strip()}
adjusted_converters = {reverse_mapping[col]: func for col in converters}

# 全量加载数据
df = pd.read_csv(
    'your_data.csv',
    usecols=lambda x: x.lower() in target_cols,
    dtype=adjusted_dtypes,
    converters=adjusted_converters
)
df.columns = df.columns.str.lower()

关于你提出的临时方案的评价 #

• 方案1（全量转字符串后再转换）：性能劣势明显，大文件会占用更多内存，且后续遍历转换耗时，不推荐使用。
• 方案2（先读表头再重新加载）：思路可行，上述优化方案就是基于这个逻辑，让代码更通用、易维护。

额外小技巧：用rename统一列名 #

如果不想手动调整dtypes/converters的键，也可以在加载完成后用rename统一列名，效果一致：

df = pd.read_csv(
    'your_data.csv',
    usecols=lambda x: x.lower() in target_cols,
    dtype=adjusted_dtypes,
    converters=adjusted_converters
)
df = df.rename(columns=str.lower)

内容的提问来源于stack exchange，提问作者vvv444