如何解决pd.qcut用duplicates='drop'后分位数范围列值单一的问题？

问题场景 #

你尝试用pd.qcut对paper_mentions列做4分箱，代码如下：

df_temp = pd.DataFrame(data_train['paper_mentions'])
df_temp['q_dr_du'] = pd.Series(pd.qcut(df_temp['paper_mentions'], q=4, duplicates='drop'))
df_temp['q_rank'] = pd.Series(pd.qcut(df_temp['paper_mentions'].rank(method='first'), q=4))

遇到两个问题：

1. 不设置duplicates='drop'时，触发报错：

ValueError: Bin edges must be unique:

2. 设置duplicates='drop'后，q_dr_du列所有单元格显示单一值，无法得到预期的4个分位数范围。

问题原因 #

报错的核心是**paper_mentions列存在大量重复值**，导致计算的4分位数（0/25/50/75/100分位）边缘出现重复，qcut无法生成唯一的分箱区间。而设置duplicates='drop'后，重复的分位数被移除，最终可能只剩2个有效边缘（比如所有值完全相同），因此只能生成1个分箱，导致全列显示单一值。

解决方案 #

方案1：基于唯一排名的分箱（推荐） #

通过对原始数据生成唯一排名，再对排名做qcut，既能避免重复边缘问题，又能保证分箱的均匀性，还可以映射回原始数据的实际范围：

import pandas as pd

# 初始化数据框
df_temp = pd.DataFrame(data_train['paper_mentions'])

# 生成唯一排名：method='first'保证重复值按出现顺序分配唯一排名
df_temp['unique_rank'] = df_temp['paper_mentions'].rank(method='first')

# 对排名做4分箱
df_temp['rank_based_bin'] = pd.qcut(df_temp['unique_rank'], q=4)

# 可选：映射回原始数据的实际分位数范围
# 按分箱分组，计算每组的最小/最大值
bin_stats = df_temp.groupby('rank_based_bin')['paper_mentions'].agg(['min', 'max'])
# 合并回原数据并生成范围字符串
df_temp = df_temp.merge(bin_stats, left_on='rank_based_bin', right_index=True)
df_temp['actual_paper_range'] = df_temp.apply(lambda x: f"[{x['min']}, {x['max']}]", axis=1)

方案2：手动生成唯一分箱边缘 #

如果必须基于原始数据的分位数做分箱，可手动处理重复边缘后用pd.cut：

# 计算原始数据的4分位数，去重并排序
raw_quantiles = sorted(df_temp['paper_mentions'].quantile([0, 0.25, 0.5, 0.75, 1]).unique())

# 补充极值确保分箱数为4（需要5个边缘）
if len(raw_quantiles) < 5:
    # 给最小值左侧加一个微小偏移，避免包含问题
    raw_quantiles.insert(0, df_temp['paper_mentions'].min() - 1e-6)
    # 若仍不足，给最大值右侧加偏移
    if len(raw_quantiles) < 5:
        raw_quantiles.append(df_temp['paper_mentions'].max() + 1e-6)
    # 再次去重排序
    raw_quantiles = sorted(list(set(raw_quantiles)))

# 用pd.cut分箱，include_lowest=True确保最小值被包含
df_temp['custom_bin'] = pd.cut(df_temp['paper_mentions'], bins=raw_quantiles, include_lowest=True)

复现问题的样本数据 #

你可以用以下代码生成能复现问题的样本数据：

# 生成大量重复值的数据集
data_train = pd.DataFrame({'paper_mentions': [10]*50 + [20]*30 + [30]*20})

用这个数据运行你的原始代码，就能触发相同的报错和单一分箱问题。

内容的提问来源于stack exchange，提问作者Patthebug