如何结合pandas.NA与lambda成功使用pandas.DataFrame.apply

问题背景 #

执行以下代码时触发TypeError: boolean value of NA is ambiguous：

import pandas
import numpy
# 初始化
dataframe = pandas.DataFrame({"c1": [1, 2, 3, 4], "c2": [2, 3, 4, pandas.NA]})
my_lambda = lambda row: row["c2"] if row["c2"] else row["c1"] 
dataframe["c2"] = dataframe.apply(my_lambda, axis="columns")

原因是pandas.NA无法直接转换为布尔值，而lambda中的row["c2"]作为判断条件会触发这种转换。fillna(0)、replace()等方法因数据可能包含0或其他关键数值，无法满足需求。

可行解决方案 #

方案1：在lambda中显式判断pandas.NA #

通过pandas.isna()先检查NA，再执行布尔判断，避免触发歧义：

my_lambda = lambda row: row["c2"] if not pandas.isna(row["c2"]) and row["c2"] else row["c1"]
dataframe["c2"] = dataframe.apply(my_lambda, axis="columns")

该方案完全适配原lambda的逻辑：仅当c2非NA且为布尔真时保留c2，否则使用c1。

方案2：将pandas.NA转换为numpy.nan #

若偏好原lambda写法，可先把pandas.NA转为numpy.nan（numpy.nan在布尔判断中会被视为False，仅触发RuntimeWarning但不会报错）：

# 转换pandas.NA为numpy.nan
dataframe["c2"] = dataframe["c2"].replace(pandas.NA, numpy.nan)
# 执行原lambda逻辑
my_lambda = lambda row: row["c2"] if row["c2"] else row["c1"]
dataframe["c2"] = dataframe.apply(my_lambda, axis="columns")

方案3：矢量化操作替代apply（推荐大数据量） #

针对1k-1m行的数据量，apply逐行处理效率较低，推荐使用pandas矢量化函数（where/mask），效率提升数倍：

• 若逻辑为c2非NA且为布尔真时保留c2，否则用c1：

mask = ~dataframe["c2"].isna() & dataframe["c2"].astype(bool)
dataframe["c2"] = dataframe["c2"].where(mask, dataframe["c1"])

• 若逻辑为仅当c2是NA时用c1，其余情况保留c2（包括0等数值）：

dataframe["c2"] = dataframe["c2"].mask(dataframe["c2"].isna(), dataframe["c1"])

内容的提问来源于stack exchange，提问作者bob marley