在Pandas分组中结合value_counts与reindex保留全标签的问题

问题分析 #

你执行groupby(['month', 'day'])['value'].value_counts(normalize=True)后，结果只显示分组中存在的value值，想要强制展示1-6全部value标签，缺失的填充为0，但直接用.reindex(range(1,6))报错ValueError: Buffer dtype mismatch, expected 'Python object' but got 'long'——这是因为原结果是多级索引（month、day、value），单独对最后一级索引reindex会破坏索引结构，导致类型不匹配。

两种可行解决方案 #

方案一：预先将value转为分类类型（推荐，更简洁） #

把value列设置为分类类型，指定所有可能的取值为1-6，这样value_counts会自动包含所有类别，不存在的直接显示0，normalize=True也能正常计算占比：

import pandas as pd
df = pd.DataFrame(
    {
        'month': [1, 1, 1, 1, 1, 1, 2, 2, 2],
        'day': [1, 1, 1, 2, 2, 2, 1, 1, 1],
        'value': [1, 2, 3, 4, 5, 6, 1, 1, 1],
    }
)
# 将value转为分类类型，明确指定所有要保留的标签1-6
df['value'] = pd.Categorical(df['value'], categories=range(1,7), ordered=True)
# 直接执行groupby+value_counts，自动保留所有标签，缺失值填0
result = df.groupby(['month', 'day'])['value'].value_counts(normalize=True, dropna=False)
print(result)

执行后输出会包含每个month+day分组下的1-6所有value值，不存在的占比为0。

方案二：不修改原数据，通过unstack/reindex/stack补全标签 #

如果不想改动原始DataFrame的列类型，可以先展开索引，补全缺失的value标签后再恢复结构：

import pandas as pd
df = pd.DataFrame(
    {
        'month': [1, 1, 1, 1, 1, 1, 2, 2, 2],
        'day': [1, 1, 1, 2, 2, 2, 1, 1, 1],
        'value': [1, 2, 3, 4, 5, 6, 1, 1, 1],
    }
)
# 先获取分组后的value占比
counts = df.groupby(['month', 'day'])['value'].value_counts(normalize=True)
# 将value索引展开为列，缺失值填充0
counts_unstacked = counts.unstack(fill_value=0)
# 重新索引列，确保包含1-6所有标签
counts_reindexed = counts_unstacked.reindex(columns=range(1,7), fill_value=0)
# 把列重新转为索引，恢复多级索引结构
result = counts_reindexed.stack()
print(result)

内容的提问来源于stack exchange，提问作者zzzbbx