如何在Pandas中实现SQL的NTILE百分位分箱并解决qcut报错问题

需求说明 #

• 复现SQL的NTILE功能，将数据集的measure_value列划分为100个百分位箱
• 分箱完成后按分箱分组聚合，输出每个分箱对应值的min、max、count统计指标

遇到的问题 #

最初直接使用pd.qcut执行分箱操作时，因为measure_value列存在大量重复值，触发Bin edges must be unique报错，即使调整duplicates参数也无法得到和SQL NTILE一致的结果。

解决方案 #

通过先做唯一排名再分箱的逻辑，完全对齐SQL NTILE的运行规则：

1. 先对measure_value列调用rank(method='first')得到全局唯一排序值，消除重复值对分箱边界的影响
2. 将排序后的结果传入pd.qcut完成100个百分位箱的划分
3. 按分箱结果分组聚合，最终得到的统计结果和SQL NTILE运行结果完全一致

可运行代码示例 #

import pandas as pd

# 构造示例数据（可替换为自己的数据集）
df = pd.DataFrame({'measure_value': [1,2,2,3,5,5,5,7,8,9]*100})

# 1. 生成唯一排名，避免重复值导致分箱边界冲突
df['rank_col'] = df['measure_value'].rank(method='first')
# 2. 基于排名做100分位分箱，labels=False输出0-99的分箱编号，和SQL NTILE逻辑对齐
df['ntile_100'] = pd.qcut(df['rank_col'], q=100, labels=False)
# 3. 按分箱分组聚合得到所需指标
agg_result = df.groupby('ntile_100', as_index=False)['measure_value'].agg(
    min_val='min',
    max_val='max',
    cnt='count'
)

内容的提问来源于stack exchange，提问作者Ori Hait