Python Pandas：如何基于二元Outcome对连续变量合规分箱

这个问题提得很到位！Pandas自带的qcut和cut确实能快速做分箱，但它们没法直接处理和目标变量绑定的约束（比如你要求每个箱里Outcome=1的样本占比至少5%）。下面我给你一个自定义的分箱函数，专门解决这种带目标约束的离散化场景：

核心思路 #

1. 先按待分箱的连续变量排序，保证分箱符合连续变量的顺序逻辑
2. 以Outcome=1的样本占比为核心约束，从左到右逐步划分箱，每次划分后检查当前箱的正样本占比是否达标
3. 最多划分5个箱，如果总正样本数太少无法分出5个满足条件的箱，会自动减少箱数（避免出现不符合约束的无效分箱）

代码实现 #

import pandas as pd
import numpy as np

def constrained_binning(series, target, max_bins=5, min_positive_pct=0.05):
    """
    带正样本占比约束的连续变量分箱函数
    参数:
        series: 待分箱的连续变量（pd.Series）
        target: 二元目标变量Outcome（pd.Series，取值0/1）
        max_bins: 最大箱数，默认5
        min_positive_pct: 每个箱中Outcome=1的最小占比，默认5%
    返回:
        分箱后的标签（pd.Series），以及分箱的分割点列表
    """
    # 合并变量和目标变量，按待分箱变量排序
    df = pd.DataFrame({'var': series, 'target': target}).sort_values('var').reset_index(drop=True)
    
    total_positive = df['target'].sum()
    if total_positive == 0:
        raise ValueError("Outcome中没有取值为1的样本，无法进行约束分箱")
    
    # 计算累积正样本数和累积样本数
    df['cum_positive'] = df['target'].cumsum()
    df['cum_total'] = np.arange(1, len(df)+1)
    
    # 初始化分割点：左边界为变量最小值
    bins = [df['var'].min()]
    current_positive = 0
    last_bin_end_idx = 0  # 记录上一个分割点对应的样本索引

    for i in range(len(df)-1):
        # 计算当前候选箱的正样本数和总样本数
        segment_positive = df['cum_positive'].iloc[i+1] - current_positive
        segment_total = i + 1 - last_bin_end_idx
        
        # 检查约束条件：占比达标 + 未达到最大箱数
        if (segment_positive / segment_total >= min_positive_pct 
            and len(bins) < max_bins):
            bins.append(df['var'].iloc[i+1])
            current_positive = df['cum_positive'].iloc[i+1]
            last_bin_end_idx = i + 1
    
    # 确保右边界是变量最大值
    if bins[-1] != df['var'].max():
        bins.append(df['var'].max())
    
    # 去重分割点（处理变量有大量重复值的情况）
    bins = sorted(list(set(bins)))
    
    # 生成分箱标签并返回结果
    bin_labels = [f"Bin {i+1}" for i in range(len(bins)-1)]
    binned_series = pd.cut(series, bins=bins, labels=bin_labels, include_lowest=True)
    
    return binned_series, bins

使用示例 #

假设你有如下测试数据集：

# 生成测试数据
np.random.seed(42)
data = pd.DataFrame({
    'A': np.random.normal(0, 1, 1000),
    'B': np.random.uniform(0, 100, 1000),
    'Outcome': np.random.binomial(1, 0.2, 1000)  # 20%的正样本占比
})

# 对变量A、B分别执行约束分箱
data['A_binned'], a_bins = constrained_binning(data['A'], data['Outcome'])
data['B_binned'], b_bins = constrained_binning(data['B'], data['Outcome'])

# 验证每个箱的正样本占比是否符合要求
print("变量A的分箱正样本占比：")
print(data.groupby('A_binned')['Outcome'].agg(
    样本数='count',
    正样本数='sum',
    正样本占比=lambda x: round(x.sum()/x.count(), 3)
))

print("\n变量B的分箱正样本占比：")
print(data.groupby('B_binned')['Outcome'].agg(
    样本数='count',
    正样本数='sum',
    正样本占比=lambda x: round(x.sum()/x.count(), 3)
))

关键细节说明 #

• 函数会自动处理变量中有大量重复值的情况，避免出现无效的重复分割点
• 如果总正样本数过少（比如总正样本数不足以支撑5个各占5%的箱），会自动减少箱数，确保每个箱的约束都被满足
• 分箱严格基于变量的排序逻辑，符合连续变量分箱的合理性要求

内容的提问来源于stack exchange，提问作者user3762120