Pandas中如何按列优先级对海量数据集执行指定批量运算？

针对大规模数据集，直接用Pandas的矢量化操作就能高效实现需求，无需逐行迭代，以下是两种简洁可行的方案：

方案1：链式调用combinefirst #

直接按优先级（Column_A → Column_B → Column_C）合并非空值，再统一执行减10运算：

df['Column_D'] = df['Column_A'].combinefirst(df['Column_B']).combinefirst(df['Column_C']) - 10

• 逻辑完全匹配规则：combinefirst会优先保留左侧列的非空值，左侧为空时才取右侧列的值，链式调用正好对应A→B→C的优先级。
• 全程矢量化运算，处理超大规模数据的效率远高于循环。

方案2：使用bfill(axis=1)按行填充 #

选取目标列后，按行从左到右填充空值（优先取左侧非空值），再提取第一列结果进行运算：

# 仅处理A、B、C三列，按行左到右填充空值，取第一列（即优先级最高的非空值）
df['Column_D'] = df[['Column_A', 'Column_B', 'Column_C']].bfill(axis=1).iloc[:, 0] - 10

• 这种方法同样是矢量化操作，适合列顺序严格对应优先级的场景，代码可读性强。

对比现有代码 #

你当前的代码需要创建中间列Column_E，逻辑相对冗余，上述两种方案都能一步到位，减少内存占用，更适合大规模数据集。

内容的提问来源于stack exchange，提问作者Cody Green