如何用pandas的usecols同时读取必填与可选列？

核心逻辑 #

1. 先读取目标CSV的表头，校验必填列是否全部存在，缺失则直接抛出错误
2. 从表头中筛选出「必填列 + 存在的可选列」作为最终读取的列集合
3. 用pandas读取指定列，既避免读取无关列，又满足可选列的兼容需求

可行代码实现 #

import pandas as pd
import os

# 定义必填列和可选列
REQUIRED_COLS = ["required_col1", "required_col2"]
OPTIONAL_COLS = ["optional_col1", "optional_col2"]

# 待处理的CSV文件列表（可根据实际路径生成）
csv_files = ["file1.csv", "file2.csv", "file3.csv"]

for file_path in csv_files:
    # 先读取表头，不加载整个文件提升效率
    with open(file_path, "r", encoding="utf-8") as f:
        header = f.readline().strip().split(",")
    
    # 校验必填列是否存在
    missing_required = [col for col in REQUIRED_COLS if col not in header]
    if missing_required:
        raise ValueError(f"文件 {file_path} 缺失必填列: {', '.join(missing_required)}")
    
    # 确定要读取的列：必填列 + 存在的可选列
    cols_to_read = REQUIRED_COLS + [col for col in OPTIONAL_COLS if col in header]
    
    # 读取指定列
    df = pd.read_csv(file_path, usecols=cols_to_read)
    
    # 后续业务处理逻辑示例
    print(f"处理文件 {file_path}，读取到有效列：{list(df.columns)}")

原lambda写法失效原因 #

pandas的usecols参数传入lambda时，仅用于筛选符合条件的列，不会主动校验必填列的存在性：

• 第一种写法把所有列设为可选逻辑，就算必填列缺失，lambda只会跳过该列，不会触发报错
• 第二种写法lambda未生效，大概率是判断逻辑不符合预期，或是pandas版本对usecols的lambda支持存在差异

额外优化建议 #

• 若CSV使用非逗号分隔符，读取表头时需对应调整拆分规则（比如split("\t")处理TSV）
• 可将校验逻辑封装成独立函数，方便跨场景复用
• 可自定义异常处理逻辑，比如捕获错误后记录日志而非直接终止程序

内容的提问来源于stack exchange，提问作者saurish