如何在Pandas DataFrame的自定义计算函数中检查变量是否为NaN或None

针对你在calculate函数里需要检查输入参数from_A和from_B是否为NaN或None的需求，我整理了几种实用的方法，还有一些能简化流程的替代方案：

一、直接在calculate函数中检查的方法 #

1. 推荐：使用Pandas的pd.isna()函数 #

Pandas的isna()函数可以统一识别NaN、None以及Pandas里的缺失值标记（比如NaT），兼容性极强，不用区分数据类型，是最省心的方式：

import pandas as pd
import numpy as np

def calculate(from_A, from_B):
    # 检查任一参数是否为无效值
    if pd.isna(from_A) or pd.isna(from_B):
        # 这里可以选择返回NaN（保持数据结构一致），或者抛出明确异常
        return np.nan
        # 如果你想主动抛出异常提醒：raise ValueError("参数from_A或from_B为无效的缺失值")
    
    # 这里写你的自定义计算逻辑，示例为两数相加
    return from_A + from_B

# 调用方式不变
df['new_data'] = df.apply(lambda x: calculate(x.A, x.B), axis=1)

2. Python原生方法（适合特定场景） #

如果你不想依赖Pandas的函数，可以结合原生的is None判断和math.isnan()，但要注意math.isnan()只能处理数值类型，非数值类型（比如字符串）会报错，所以需要加异常捕获：

import math
import numpy as np

def calculate(from_A, from_B):
    # 先检查是否为None
    if from_A is None or from_B is None:
        return np.nan
    # 再检查是否为NaN，捕获非数值类型的异常
    try:
        if math.isnan(from_A) or math.isnan(from_B):
            return np.nan
    except TypeError:
        # 如果参数是字符串等非数值类型，可根据需求处理，比如返回NaN或抛出异常
        return np.nan
    
    # 自定义计算逻辑
    return from_A + from_B

二、其他可行的解决方案 #

1. 提前过滤无效行（减少函数内的判断） #

在调用apply之前，先把A或B列存在缺失值的行过滤掉，这样calculate函数里就不用再做检查了，代码更简洁：

# 过滤出A和B都不为缺失值的行
valid_df = df.dropna(subset=['A', 'B'])
# 只对有效行执行计算
valid_df['new_data'] = valid_df.apply(lambda x: calculate(x.A, x.B), axis=1)
# 如果需要保留原DataFrame的所有行，把结果合并回去
df['new_data'] = valid_df['new_data']

2. 用矢量化操作替代apply（提升效率） #

apply本质是逐行循环，数据量大的时候效率很低。如果你的计算逻辑可以用Pandas的矢量化操作实现，完全可以跳过apply和calculate函数，速度会快很多：

# 创建掩码，标记A和B都不为缺失值的行
valid_mask = ~df['A'].isna() & ~df['B'].isna()
# 对有效行执行计算，无效行设为NaN
df.loc[valid_mask, 'new_data'] = df.loc[valid_mask, 'A'] + df.loc[valid_mask, 'B']
df.loc[~valid_mask, 'new_data'] = np.nan

这种方式不仅避免了函数内的检查，还能大幅提升处理速度，尤其适合大数据集。

3. 优化缺失值填充逻辑 #

你已经用了前向填充pad，但如果数据开头就存在缺失值，前向填充是无法处理的。可以考虑结合其他填充方式（比如用列的均值、中位数填充），提前把缺失值处理掉，这样后续计算就不用再检查了：

# 对A和B列先用前向填充，剩下的缺失值用均值填充
df['A'] = df['A'].fillna(method='pad').fillna(df['A'].mean())
df['B'] = df['B'].fillna(method='pad').fillna(df['B'].mean())
# 此时无需检查，直接执行计算
df['new_data'] = df.apply(lambda x: calculate(x.A, x.B), axis=1)

内容的提问来源于stack exchange，提问作者user1977050