Pandas多索引分组异常：sum()正常rank()报错（数据量超1万行）

问题分析 #

你碰到的这个情况很典型，核心根源在于大数据量下pandas的自动内存优化逻辑：当DataFrame行数超过10000行时，pandas会自动把部分索引或列转换为Categorical类型来节省内存。而rank()方法在处理Categorical类型时会严格校验类别是否唯一，一旦存在重复类别就会抛出这个错误；但sum()方法不涉及这类唯一性校验，所以能正常执行。

结合你的场景来看：4级MultiIndex里第4级是共享日期向量，按前3级分组时，前3级索引在大数据量下被自动转为Categorical，且大概率存在重复的类别（可能是创建索引时的疏忽、或是某些操作间接导致的类别重复），这就触发了rank的校验逻辑。

解决方案 #

下面提供几个针对性的解决方法，按推荐程度排序：

1. 显式将分组用的索引级别转为非Categorical类型

直接把前3级索引从Categorical转回普通对象类型，绕开自动优化带来的问题：

import pandas as pd

# 遍历前3级索引，将Categorical类型转为object
new_levels = []
for i in range(3):
    level = df.index.levels[i]
    if pd.api.types.is_categorical_dtype(level):
        new_levels.append(level.astype(object))
    else:
        new_levels.append(level)
# 保留第4级索引不变
new_levels.append(df.index.levels[3])

# 更新MultiIndex的级别
df.index = df.index.set_levels(new_levels)

# 现在执行rank就不会报错了
ranked_df = df.groupby(level=[0,1,2]).rank()

2. 重置索引后分组rank（更直观）

把前3级索引转为普通列，完成分组rank后再恢复原索引，彻底避开MultiIndex的Categorical优化问题：

# 重置前3级索引为列
df_reset = df.reset_index(level=[0,1,2])

# 按这3列分组，对目标数值列执行rank（替换成你的实际列名）
df_reset['rank_result'] = df_reset.groupby(['level_0', 'level_1', 'level_2'])['your_numeric_column'].rank()

# 重新设置回原MultiIndex
df = df_reset.set_index(['level_0', 'level_1', 'level_2'], append=True)

3. 强制rank只处理数值列

如果你的DataFrame混合了数值和非数值列，可以在rank时指定numeric_only=True，避免处理可能的Categorical列：

ranked_df = df.groupby(level=[0,1,2]).rank(numeric_only=True)

为什么只有大数据量才触发？ #

pandas的自动Categorical转换有阈值限制，当数据量较小时（比如少于10000行），不会启用这个优化，因此不会暴露索引中存在的重复类别问题；只有当数据量超过阈值后，自动优化触发，才会触发rank的类别唯一性校验。

内容的提问来源于stack exchange，提问作者marco