如何高效更新DataFrame的Col1列：多列取值且将'-'视为NaN

核心思路 #

用pandas的矢量化方法替代循环，先统一处理空值（将'-'转为NaN），再从指定列提取唯一有效值填充目标列的空值，避免循环带来的效率低下和数据丢失问题。

步骤实现 #

1. 准备示例数据

import pandas as pd
import numpy as np

# 模拟用户输入数据
df = pd.DataFrame({
    'Col1': ['A', np.nan, '-', 'B'],
    'Col2': ['B', 'D', 'F', '-'],
    'Col3': ['A', 'D', np.nan, np.nan],
    'Col4': ['-', 'E', 'F', np.nan],
    'Col5': [np.nan, '-', 'G', np.nan],
    'Col6': ['C', 'E', '-', np.nan]
})

2. 统一空值处理

先将所有'-'替换为NaN，确保空值格式统一：

df = df.replace('-', np.nan)

3. 高效提取并填充唯一有效值

针对大数据集，推荐使用stack+groupby的矢量化方案（性能远优于循环和apply）：

# 提取Col2-Col6的非空值，去重后保留每行第一个有效值
valid_values = (
    df[['Col2', 'Col3', 'Col4', 'Col5', 'Col6']]
    .stack()  # 转长格式，保留原行索引
    .drop_duplicates(keep='first')  # 去重，保留首次出现的值
    .groupby(level=0)  # 按原行索引分组
    .first()  # 取每组第一个有效值
)

# 填充Col1的空值
df['Col1'] = df['Col1'].fillna(valid_values)

如果需要将所有唯一有效值合并为字符串（比如用逗号分隔），可以改用以下方式：

def concat_unique_vals(row):
    vals = row[['Col2', 'Col3', 'Col4', 'Col5', 'Col6']].dropna().unique()
    return ', '.join(vals) if len(vals) > 0 else np.nan

# 仅填充Col1为空的行
df['Col1'] = df['Col1'].mask(df['Col1'].isna(), df.apply(concat_unique_vals, axis=1))

结果验证 #

处理后的DataFrame：

为什么循环update会丢失数据？ #

循环逐行调用update时，容易出现：

• 索引对齐错误，导致部分行未正确填充
• 大数据集下内存频繁读写，引发数据丢失或截断
• 循环本身效率极低，无法处理百万级以上行数的数据集

矢量化操作是pandas底层优化的批量处理逻辑，既避免了循环的缺陷，又能大幅提升处理速度。

内容的提问来源于stack exchange，提问作者user18562240