pandas pd.cut设置40个分箱仅生成36个唯一区间的原因排查
分箱唯一值数量少于预设bins参数值的原因
- 首先明确
pd.cut()传入整数bins=40的底层逻辑:pandas会基于counts列的最小值、最大值,生成41个等距的区间边界,拼接出40个首尾连续、宽度一致的左开右闭区间作为预设分箱框架,但这个框架不会强制要求所有分箱都必须出现在最终的列取值中。 - 出现36个唯一分箱的核心原因是:预设的40个分箱中,有4个区间没有任何样本值落入。你使用的对数正态分布是典型的右偏分布,绝大多数样本集中在低数值区间,高值长尾区域的样本密度极低。等宽分箱模式下,长尾区域被切分成的大量固定宽度小区间,可能因为样本过于稀疏,完全没有覆盖到任何样本值。
- 之前统计唯一值的方式存在统计口径偏差:
df['intervals'].unique()只会统计实际被赋值到单元格中的分箱标签,那些没有任何样本落入的空区间,因为从来没有被分配给任何counts值,自然不会出现在唯一值的统计结果里。
可以通过简单验证确认这个逻辑:直接读取
pd.cut(df['counts'], bins=40).cat.categories的长度,返回值一定为40,这是包含所有空箱在内的完整预设分箱列表;而df['intervals'].unique()的长度仅统计有数据落入的分箱,因此会小于预设值。
如果需要将完整的40个等宽分箱作为直方图X轴标签,不需要依赖intervals列的唯一值,直接使用上述cat.categories的全部分箱列表作为X轴刻度即可。
内容的提问来源于stack exchange,提问作者BCArg
相关产品推荐
相关产品推荐

