如何用Pythonic方式实现含缺失值的Pandas DataFrame行加权平均计算

嘿，我完全懂你的困扰——当要处理20多列的时候，手动写一堆if/elif判断所有缺失值组合简直是噩梦！下面有两个简洁的Pythonic方案，用pandas和numpy就能轻松搞定，完全不用遍历行或者写复杂的条件分支：

首先先构造你的示例数据集，方便演示：

import pandas as pd
import numpy as np

data = {
    'person': [1,2,3,4],
    'first_value': [1.0,0.9,0.8,0.8],
    'second_value': [0.5,0.6,np.nan,0.7],
    'third_value': [0.2,np.nan,0.9,0.6]
}
df = pd.DataFrame(data)
weights = np.array([0.3, 0.4, 0.3])  # 对应first_value, second_value, third_value的权重
value_cols = ['first_value', 'second_value', 'third_value']  # 需要计算的数值列

这个方案用numpy的向量化操作，完全避免循环，处理速度极快，不管多少列都能自动适配：

# 提取数值列的numpy数组
values = df[value_cols].values

# 生成缺失值掩码：非缺失值标记为True，缺失值为False
mask = ~np.isnan(values)

# 计算每行的有效权重：把缺失值对应的权重置为0，然后归一化（确保有效权重和为1）
valid_weights = weights * mask
row_weight_sums = valid_weights.sum(axis=1, keepdims=True)
normalized_weights = valid_weights / row_weight_sums

# 计算加权平均：先把缺失值转为0，再和归一化权重相乘后求和
weighted_avg = (np.nan_to_num(values) * normalized_weights).sum(axis=1)

# 将结果添加到原DataFrame
df['weighted_average'] = weighted_avg

方案说明： #

• 向量化操作比循环快几个数量级，尤其当你的数据集很大时优势明显
• 自动处理所有缺失值组合，不管哪几列缺失，都会自动调整权重并归一化
• 你提到first_value永远不缺失，所以row_weight_sums永远不会为0，无需额外处理除以0的情况（代码保留了鲁棒性，即使以后规则变化也能兼容）

如果你的数据集不大，或者想要更直观的代码逻辑，可以用apply逐行处理，代码可读性更高：

def compute_weighted_avg(row, weights, value_cols):
    # 取出当前行的非缺失值
    non_missing_vals = row[value_cols].dropna()
    # 获取这些非缺失值对应的权重
    corresponding_weights = weights[[value_cols.index(col) for col in non_missing_vals.index]]
    # 归一化权重（确保和为1）
    normalized_weights = corresponding_weights / corresponding_weights.sum()
    # 计算加权平均
    return np.average(non_missing_vals, weights=normalized_weights)

# 应用到每行
df['weighted_average'] = df.apply(compute_weighted_avg, axis=1, weights=weights, value_cols=value_cols)

方案说明： #

• 代码逻辑清晰，每一步都能直观看到处理过程，适合调试或者需要自定义逻辑的场景
• 自动忽略缺失值，只对存在的值计算加权平均，权重会自动按比例调整

两种方案运行后，你的DataFrame会新增weighted_average列，结果如下：

这个结果和你手动判断条件计算的结果完全一致，但代码简洁太多，而且能轻松扩展到20列的场景！

内容的提问来源于stack exchange，提问作者user2679611