如何在Pandas DataFrame连接结果中隐藏冗余条目（删除或仅视图隐藏）

我来帮你搞定这个在Pandas DataFrame连接后处理冗余条目的需求，分直接删除DataFrame冗余内容和仅视图层面隐藏两种场景给你具体方案：

先还原你的示例场景 #

首先把你的示例数据和连接操作完整呈现，方便后续演示：

import pandas as pd

# 训练步骤数据
train = dict(
    blue_model=dict( p_1=0.1, p_2=2 ),
    green_model=dict( p_1=0.3, p_2=5 )
)
# 测试步骤数据
test = dict(
    yellow_test=dict( model='blue_model', q_1=1, mse=0.1 ),
    black_test=dict( model='blue_model', q_1=10, mse=0.2 ),
    gray_test=dict( model='green_model', q_1=10, mse=0.25 ),
)

# 转换为DataFrame
train_df = pd.DataFrame(train).T
test_df = pd.DataFrame(test).T

# 基于model字段连接得到概览表
overview = test_df.join(train_df, on='model', sort=True)
original_overview = overview.reindex(columns='model p_1 p_2 q_1 mse'.split())

print("原始连接结果（存在冗余）：")
print(original_overview)

原始输出会看到blue_model对应的p_1、p_2重复出现，这就是我们要处理的冗余内容。

方法一：直接删除DataFrame中的冗余内容 #

这种方式会修改DataFrame本身，把重复的共享列（比如model、p_1、p_2）在后续行中设为None，只保留每个唯一model的第一行完整数据：

# 复制原始概览表，避免修改原数据
overview_clean = original_overview.copy()

# 指定需要处理冗余的共享列
shared_cols = ['model', 'p_1', 'p_2']

# 对重复的model行，将共享列设为None
overview_clean.loc[overview_clean['model'].duplicated(), shared_cols] = None

print("删除冗余后的DataFrame：")
print(overview_clean)

输出结果中，同一个model的后续行只会保留测试相关的q_1、mse数据，共享列的冗余内容被清除。

方法二：仅在视图层面隐藏冗余（不修改原始DataFrame） #

如果你不想改动原始数据，只是在显示时隐藏重复的冗余内容，可以用Pandas的Styler功能，通过样式设置让重复单元格不可见：

from IPython.display import display

def hide_duplicate_cells(df, target_cols):
    # 定义样式规则：重复单元格设置为隐藏
    def style_duplicates(series):
        # 标记重复项（保留第一个）
        duplicate_mask = series.duplicated(keep='first')
        # 对重复项应用隐藏样式
        return ['visibility: hidden' if is_duplicate else '' for is_duplicate in duplicate_mask]
    
    # 对指定列应用样式
    return df.style.apply(style_duplicates, subset=target_cols)

# 应用样式到共享列，实现视图隐藏
styled_overview = hide_duplicate_cells(original_overview, ['model', 'p_1', 'p_2'])

print("视图层面隐藏冗余的效果（仅在支持Styler的环境中生效，如Jupyter）：")
display(styled_overview)

这种方式下，原始DataFrame的数据完全不变，只是在显示时，重复的共享列单元格会被隐藏，适合需要保留完整数据但想简化查看的场景。

内容的提问来源于stack exchange，提问作者Lukas