Pandas中如何对DataFrame列逐行应用分箱函数解决apply报错

问题背景 #

需要对多列DataFrame的特定列逐行完成以下操作：读取单元格取值、判断所属分箱区间、返回该分箱绑定的对应统计值。原有代码仅支持传入行号返回单行计算结果，使用.apply()批量处理整列时抛出The truth value of a Series is ambiguous. Use a.empty()...etc.报错，尝试嵌套while循环、编写二级辅助函数均未解决问题。
原有问题代码如下：

ColumnData = df.DataColumn
AIndex = 0
ABCRow = 0
AStep = 1
Bin = range(ColumnData.min(), ColumnData.max(), Astep)
GroupV = df.groupby(df.cut(df.DataColumn, Bin).ABC
ABCMean = GroupV.mean()

def Function (Row):
    while AIndex <= ColumnData.max():
        if AIndex <= ColumnData.iloc[Row] <= AIndex+=AStep:
            ABCMeanVal = ABCMean.iloc[ABCRow]
        AIndex += 1
        ACBRow += 1
    return ABCMeanVal 

Function (0)
# 输出1.5

报错核心原因 #

• 逻辑设计错误：函数依赖AIndex/ABCRow等全局变量存储循环状态，批量计算时全局变量仅初始化一次，不会逐行重置，计算逻辑完全错乱
• 语法拼写错误：存在AStep/Astep大小写不一致、ABCRow/ACBRow拼写错误、groupby语句缺少右括号、链式比较中混入赋值语句等问题，代码本身无法稳定运行
• apply用法错误：对Series调用.apply()时，传入函数的参数是单个单元格的值，不是行号；原函数把传入值当行号用iloc取值，容易取到多元素Series，做布尔判断时pandas无法判定整组序列的真假，就会抛出真值歧义报错
• 冗余实现：分箱匹配是pandas原生支持的功能，不需要手动写while循环逐值判断区间

推荐实现方案（最高效） #

直接使用pandas原生分箱+映射逻辑，不需要循环、不需要自定义apply，性能比逐行处理高10~100倍，也不会出现真值歧义问题：

import pandas as pd
import numpy as np

# 配置参数
AStep = 1
target_col = "DataColumn"  # 需要分箱的目标列
calc_col = "ABC"           # 需要计算分箱统计值的列

# 生成分箱边界，最大值加步长避免最大值被分到空箱
bin_edges = np.arange(df[target_col].min(), df[target_col].max() + AStep, AStep)

# 给每一行打上所属分箱标签，include_lowest=True保证最小值能被分到第一个区间
df["bin_tag"] = pd.cut(df[target_col], bins=bin_edges, include_lowest=True)

# 计算每个分箱对应的列均值，生成分箱到均值的映射字典
bin_mean_map = df.groupby("bin_tag")[calc_col].mean().to_dict()

# 直接映射得到所有行对应的分箱均值，整列计算一次完成
df["bin_calc_result"] = df["bin_tag"].map(bin_mean_map)

自定义函数apply实现方案（仅适合特殊逻辑场景） #

如果分箱逻辑非常特殊无法用原生cut实现，写apply函数时要注意：不要用全局变量，函数入参直接接单元格值，额外参数通过args传入：

def match_bin_mean(cell_val, bin_edges, bin_mean_series):
    bin_count = len(bin_edges) - 1
    for bin_idx in range(bin_count):
        left_edge = bin_edges[bin_idx]
        right_edge = bin_edges[bin_idx+1]
        # 最后一个区间包含右端点，其余区间左闭右开
        if bin_idx == bin_count - 1:
            if left_edge <= cell_val <= right_edge:
                return bin_mean_series.iloc[bin_idx]
        else:
            if left_edge <= cell_val < right_edge:
                return bin_mean_series.iloc[bin_idx]
    # 不在分箱范围内返回空值
    return pd.NA

# 调用方式
bin_edges = np.arange(df[target_col].min(), df[target_col].max() + AStep, AStep)
df["bin_tag"] = pd.cut(df[target_col], bins=bin_edges, include_lowest=True)
bin_mean_series = df.groupby("bin_tag")[calc_col].mean()
df["bin_calc_result"] = df[target_col].apply(match_bin_mean, args=(bin_edges, bin_mean_series))

内容的提问来源于stack exchange，提问作者elizac