如何将分类数据序列或已有DataFrame转为含分类与新ID的多级索引结构

Hey there! Let's break down your two questions step by step with practical pandas examples:

1. 将分类数据序列转换为以分类+新ID为多级索引的DataFrame #

假设你有一个单纯的分类数据序列，我们可以利用groupby结合cumcount()来生成每个分类内部的唯一ID，再把分类和ID组合成多级索引。

示例代码： #

import pandas as pd

# 模拟分类数据序列
category_series = pd.Series(["Dog", "Dog", "Cat", "Bird", "Cat", "Dog"], name="pet")

# 生成每个分类内的递增ID（从0开始，若要从1开始则加1）
unique_ids = category_series.groupby(category_series).cumcount()

# 构建多级索引DataFrame
multi_index_df = pd.DataFrame(
    data={"category": category_series},
    index=pd.MultiIndex.from_arrays(
        [category_series, unique_ids],
        names=["category", "unique_id"]
    )
)

print(multi_index_df)

输出效果： #

category
category unique_id           
Dog      0                Dog
         1                Dog
         2                Dog
Cat      0                Cat
         1                Cat
Bird     0               Bird

cumcount()会自动为每个分组内的元素分配从0开始的连续序号，完美作为区分同分类数据的唯一ID。

2. 将已有DataFrame转换为带重复数据标识ID的多级索引 #

这取决于你定义"同名重复数据"的维度：是基于某一列的重复，还是整行数据重复？以下两种场景都给你解决方案：

场景1：基于特定列的重复（比如按"name"列分组） #

如果你的重复是指某一列的值重复，我们可以针对该列分组生成ID：

import pandas as pd

# 模拟已有DataFrame
df = pd.DataFrame({
    "name": ["Mike", "Mike", "Sarah", "John", "Sarah", "Mike"],
    "score": [85, 85, 92, 78, 92, 85],
    "subject": ["Math", "English", "Math", "Math", "English", "English"]
})

# 生成"name"列分组内的唯一ID
df["unique_id"] = df.groupby("name").cumcount()

# 设置多级索引
multi_index_df = df.set_index(["name", "unique_id"])

print(multi_index_df)

场景2：整行数据重复 #

如果你的重复是指整行数据完全一致，我们可以基于所有列分组生成ID：

# 针对整行重复生成ID
df["unique_id"] = df.groupby(list(df.columns)).cumcount()

# 设置多级索引（这里以第一列作为第一级索引，可按需调整）
multi_index_df = df.set_index([df.columns[0], "unique_id"])

简化技巧：直接构造多级索引（无需新增列） #

如果你不想在DataFrame中保留unique_id列，可以直接构造多级索引：

multi_index = pd.MultiIndex.from_arrays(
    [df["name"], df.groupby("name").cumcount()],
    names=["category", "unique_id"]
)
df_multi = df.set_index(multi_index)

内容的提问来源于stack exchange，提问作者Bill