如何高效为多列按后缀配对规则用其他列填充NaN值？

现有如下Pandas DataFrame：

import pandas as pd
import numpy as np
df = pd.DataFrame(
    {
        'x': [1, np.nan, 3, np.nan, 5],
        'y': [np.nan, 7, 8, 9, np.nan],
        'x_a': [1, 2, 3, 4, 5],
        'y_a': [6, 7, 8, 9, 10]

    }
)

期望将x、y列的NaN值分别用对应带_a后缀的x_a、y_a列值填充，得到如下输出：

x     y  x_a  y_a
0  1.0   6.0    1    6
1  2.0   7.0    2    7
2  3.0   8.0    3    8
3  4.0   9.0    4    9
4  5.0  10.0    5   10

目前可通过循环实现：

for col in ['x', 'y']:
    df[col] = df[col].fillna(df[f'{col}_a'])

但当存在数百列此类配对列时，该方法是否为最优/最高效方案？

1. 原循环方案的实际表现 #

首先明确：循环处理数百列的方案在Pandas中并非低效到不能用。Pandas的fillna是向量化操作，循环只是遍历列名，内部还是批量处理数据，不会像纯Python逐行循环那样卡顿。对于数百列的规模，这个方案在代码可读性和维护性上反而有优势——逻辑清晰，出问题时容易排查。

2. 更高效的向量化替代方案 #

如果追求极致性能，可以用批量向量化操作减少循环次数，以下是两种可行思路：

方法一：利用combine_first批量处理

先提取主列（不带_a后缀）和对应填充列，再批量完成填充：

# 提取所有主列（假设所有主列都有对应的_a后缀列）
main_cols = [col for col in df.columns if not col.endswith('_a')]
# 构建主列与填充列的映射关系
fill_mapping = {col: f"{col}_a" for col in main_cols}

# 批量填充：将填充列重命名后，与主列合并替换NaN
df[main_cols] = df[main_cols].combine_first(
    df[fill_mapping.values()].rename(columns=dict(zip(fill_mapping.values(), fill_mapping.keys())))
)

这个方法通过一次combine_first完成批量填充，减少了Python层面的循环开销，在列数极多（比如上千列）时性能会比原循环略优。

方法二：用loc+布尔掩码直接赋值

另一种思路是定位NaN的位置后直接批量赋值，避免fillna内部的额外检查：

main_cols = [col for col in df.columns if not col.endswith('_a')]
for col in main_cols:
    mask = df[col].isna()
    df.loc[mask, col] = df.loc[mask, f"{col}_a"]

这个方案和原循环逻辑类似，但通过loc精准赋值，在部分场景下速度会略快一点。

3. 结论 #

• 若列数在数百级，原循环方案完全够用，代码简洁易读，维护成本低，性能差距可以忽略。
• 若列数达到数千级，追求极致性能，可以选择combine_first的批量处理方案，最大化利用Pandas的向量化优势。

内容的提问来源于stack exchange，提问作者AmirX