如何使用pd.apply()批量初始化DataFrame列？

需求背景 #

需要批量检查DataFrame中是否存在指定列，若列存在则保留原数据，不存在则将该列设为None，原始写法为逐个列判断：

df['A'] = df['A'] if 'A' in df else None
df['B'] = df['B'] if 'B' in df else None
df['C'] = df['C'] if 'C' in df else None
df['D'] = df['D'] if 'D' in df else None
...

错误代码及问题 #

尝试用函数实现时触发ValueError，错误代码如下：

def populate_columns(df):
        
    col_names = ['A', 'B', 'C', 'D', 'E', 'F', ...]
               
    def populate_column(df, col_name):
        df[col_name] = df[col_name] if col_name in df else None
        return df[col_name]
        
    df[col_name] = df.apply(lambda x: populate_column(x) for x in col_names)    
    return df

错误原因 #

• 内层populate_column需要两个参数（df和col_name），但lambda只传递了一个参数，参数不匹配
• df.apply用于对DataFrame的行/列进行逐元素处理，此处场景不需要用apply，直接遍历列名即可
• 最终赋值df[col_name]的写法错误：col_name未在循环中定义，会导致变量未定义或赋值逻辑混乱

正确实现方式 #

方式1：循环遍历（直观易读） #

def populate_columns(df):
    col_names = ['A', 'B', 'C', 'D', 'E', 'F']
    for col in col_names:
        # 用df.columns判断列存在性更严谨
        df[col] = df[col] if col in df.columns else None
    return df

方式2：一行代码实现（链式调用） #

利用df.assign()结合字典推导式，一行完成操作：

col_names = ['A', 'B', 'C', 'D', 'E', 'F']
df = df.assign(**{col: df[col] if col in df.columns else None for col in col_names})

方式3：Pandas原生reindex方法（高效简洁） #

reindex会自动为不存在的列填充NaN，若需要None可后续替换：

col_names = ['A', 'B', 'C', 'D', 'E', 'F']
# 先重新索引列，缺失列填充NaN
df = df.reindex(columns=col_names)
# 若需要将NaN替换为None
df = df.where(df.notna(), None)

各方式说明 #

• 循环方式最直观，适合新手理解和后续调试
• assign方法保持Pandas链式调用风格，代码紧凑
• reindex是Pandas原生优化方法，处理列存在性和缺失值效率最高，若可接受NaN作为缺失标记，直接用df.reindex(columns=col_names)即可

内容的提问来源于stack exchange，提问作者amnesic