Pandas：重命名现有索引并合并、筛选重组53k行DataFrame

嗨，针对你提到的两个核心需求——处理53k行数据集的同类行筛选重组，以及索引重命名合并，我来分享一些实用的Pandas操作技巧，都是日常数据处理中高频用到的方法，适配你的数据集规模完全没问题～

一、筛选并重组同类行 #

首先得明确“同类行”的定义：是完全重复的行，还是按特定列分组的相似行？两种情况的处理方式略有不同：

1. 处理完全重复的行 #

如果你的“同类行”指的是所有列值都完全相同的重复行，可以直接用drop_duplicates()快速去重：

# 保留每组重复行的第一行，直接修改原DataFrame
df.drop_duplicates(subset=None, keep='first', inplace=True)

# 如果你只想基于某几列判断重复（比如按"category"和"user_id"列）
df_cleaned = df.drop_duplicates(subset=['category', 'user_id'], keep='last', inplace=False)

• subset：指定用来判断重复的列，默认是所有列
• keep：可选'first'（保留第一行）、'last'（保留最后一行）、False（删除所有重复行）
• inplace：设为True直接修改原DataFrame，False返回新的DataFrame（适合不想破坏原数据的场景）

2. 分组重组同类行（按特定维度聚合） #

如果“同类行”是指某几列维度相同，需要聚合其他列的数据（比如求和、计数、取均值），用groupby()+agg()组合是最优解：

# 按"category"和"region"列分组，对"sales"列求和，对"order_count"列计数
df_grouped = df.groupby(['category', 'region']).agg(
    total_sales=('sales', 'sum'),
    order_total=('order_count', 'count')
).reset_index()

• 可以自定义聚合列名（比如上面的total_sales），让结果更清晰
• 支持多种聚合方式：sum、mean、max、min，甚至自定义函数（比如lambda x: x.nunique()统计唯一值数量）
• 最后用reset_index()把分组列从索引转回普通列，方便后续处理

二、重命名现有索引并与另一索引合并 #

1. 重命名现有索引 #

重命名索引的方式很灵活，分两种场景：

单级索引重命名

# 方法1：直接修改索引名称
df.index.name = 'new_index_name'

# 方法2：用rename_axis（更适合链式调用）
df = df.rename_axis('new_index_name', axis=0)

多级索引重命名

如果是多级索引，可以一次性给每个层级命名：

df.index = df.index.set_names(['level_1_name', 'level_2_name'])

2. 合并另一索引 #

合并索引的需求通常分两种，对应不同的操作：

场景1：基于索引合并两个DataFrame

如果要把另一个DataFrame的索引和当前DataFrame的索引做关联合并，用pd.merge()指定索引关联：

# 按索引内连接两个DataFrame，只保留两边都有的索引值
merged_df = pd.merge(df1, df2, left_index=True, right_index=True, how='inner')

# 如果要保留df1的所有索引，用左连接
merged_df = pd.merge(df1, df2, left_index=True, right_index=True, how='left')

• how参数控制合并方式：inner（交集）、outer（并集）、left（保留左表所有行）、right（保留右表所有行）

场景2：把另一索引作为新列添加，再合并为多级索引

如果是要把一个独立的索引（比如另一个Series的索引）添加到当前DataFrame，再合并为多级索引：

# 假设other_index是你要合并的索引
df['new_index_col'] = other_index

# 将原有索引和新列合并为多级索引
df = df.set_index(['existing_index', 'new_index_col'], drop=True)

一些针对53k行数据集的小提示 #

• 处理大数据集时，尽量用inplace=True或者链式调用，减少内存占用
• groupby()操作前可以先对分组列排序（df.sort_values(['category', 'region'], inplace=True)），能提升聚合效率
• 合并索引前，确保两个索引的数据类型一致（比如都是字符串或整数），避免出现匹配不上的情况

要是你有更具体的“同类行”定义（比如不是完全重复，而是某几列模糊匹配），或者合并索引的特定场景，随时补充细节，我再给你调整方案～

内容的提问来源于stack exchange，提问作者lea