如何检查DataFrame是否存在指定列，不存在则自动新增该列

优先推荐第三方工具包实现，不需要手写冗余的列存在性判断逻辑，代码可维护性更高。

方案1：轻量清洗场景用pyjanitor #

pyjanitor是专门为pandas设计的数据清洗增强库，封装了大量日常清洗的高频操作，补列逻辑不需要手动写分支判断。
先安装依赖：
pip install pandas pyjanitor

示例代码：

import pandas as pd
import janitor

# 定义需要校验存在的目标列清单
TARGET_COLS = ["user_id", "visit_time", "pay_amount", "source_channel"]
# 缺失列的默认填充值，可根据需求替换为0、""、pd.NA等
FILL_VALUE = None

# dfs为存储所有待处理非累积型DataFrame的列表/可迭代对象
processed_list = []
for raw_df in dfs:
    cleaned_df = (
        raw_df
        # 自动补全所有不存在的目标列，已有同名列不会被覆盖
        .add_columns(**{col: FILL_VALUE for col in TARGET_COLS if col not in raw_df.columns})
        # 可选：统一所有输出表的列顺序，避免后续合并/计算时报错
        .reindex(columns=TARGET_COLS)
    )
    processed_list.append(cleaned_df)

方案2：带数据质量校验场景用pandera #

如果你的清洗流程需要同时统一列类型、校验字段取值规则，用pandera效率更高，一次定义数据规则即可同时完成补列、类型转换、合规校验。
安装依赖：
pip install pandas pandera

示例代码：

import pandas as pd
import pandera as pa
from pandera.engines.pandas_engine import Int64, Float64, String, DatetimeTZDtype

# 一次定义全量表结构规则
clean_schema = pa.DataFrameSchema(
    columns={
        "user_id": pa.Column(Int64, nullable=True, default=None),
        "visit_time": pa.Column(DatetimeTZDtype(tz="Asia/Shanghai"), nullable=True, default=None),
        "pay_amount": pa.Column(Float64, nullable=True, default=0.0),
        "source_channel": pa.Column(String, nullable=True, default="unknown")
    },
    # 自动补全定义中存在但原始表缺失的列
    add_missing_columns=True,
    # 可选：自动过滤掉表结构中未定义的冗余列
    strict="filter"
)

# 一行代码完成所有表的补列、类型转换、清洗
processed_list = [clean_schema(raw_df) for raw_df in dfs]

说明 #

• 两种方案都不会修改原始DataFrame的已有数据，仅补全缺失列，非累积型表处理不会出现数据累加污染的问题
• 处理完成后所有输出的DataFrame列结构完全一致，可直接用于后续合并、统计计算
• 如果待处理的DataFrame存储在字典结构中，仅需遍历字典的values对象即可，逻辑无需调整

内容的提问来源于stack exchange，提问作者a nony mouse