numpy where过滤器未过滤可空值？代码执行报TypeError问题咨询

问题场景 #

现有pandas DataFrame deal，其中fee列存在部分Python None空值，present_value列均为float类型。执行以下代码时触发类型错误：

deal['incash_potential'] = np.where(
    np.vectorize(lambda x, y: x != None and y != None)(deal.present_value, deal.fee),
    np.vectorize(lambda x, y: np.dot(x, y))(deal.fee, deal.present_value),
    None
)

报错信息：

np.vectorize(lambda x, y: np.dot(x, y))(deal.fee, deal.present_value),
                          ^^^^^^^^^^^^
File "<__array_function__ internals>", line 200, in dot
  TypeError: unsupported operand type(s) for *: 'float' and 'NoneType'

原因分析 #

核心问题在于np.where的参数计算顺序：
np.where不会先判断条件再执行对应分支，而是会先把三个参数（条件数组、真值表达式、假值表达式）全部计算完成，再根据条件选择结果。

你的代码中，第二个np.vectorize(...)会遍历deal.fee的所有元素，包括值为None的行。当遇到fee为None时，np.dot(x,y)本质是对单个float和None执行乘法操作，直接触发类型错误，此时np.where还没开始进行条件过滤。

另外，用x != None判断空值在pandas中并不严谨：如果fee列的空值被pandas自动转为NaN（数值列的默认行为），x != None会返回True，无法正确识别缺失值。

解决方法 #

方法1：用pandas原生向量化操作（推荐） #

利用pandas的缺失值判断方法notna()，结合向量化乘法，无需使用np.vectorize：

# 直接判断fee不为空（present_value均为float，无需额外判断）
deal['incash_potential'] = np.where(
    deal['fee'].notna(),
    deal['fee'] * deal['present_value'],
    None
)

pandas会自动处理向量化运算，且deal['fee'] * deal['present_value']中遇到NaN时会得到NaN，最终被np.where替换为None，不会触发报错。

方法2：逐行处理（适合复杂逻辑） #

如果需要更复杂的行级逻辑，可使用apply逐行判断计算：

import pandas as pd

def calculate_incash(row):
    if pd.notna(row['fee']):
        return row['fee'] * row['present_value']
    return None

deal['incash_potential'] = deal.apply(calculate_incash, axis=1)

注意：apply是逐行循环，性能远低于向量化操作，数据量大时不推荐。

内容的提问来源于stack exchange，提问作者wedrano de carvalho