如何在Pandas DataFrame中结合crosstab、pivot与groupby操作

嘿，我来帮你理清楚怎么在你的这个DataFrame里结合crosstab、pivot和groupby这三个常用操作！先看你的数据结构：group1都是bacc，group2是不同的类别（比如dry_sed、junc_hal这些），还有meandiff、置信区间上下限，以及reject这个布尔值列。咱们先拆解单个操作的用法，再讲怎么结合起来解决实际问题。

1. Groupby：按组聚合统计 #

groupby是用来按指定列分组，然后对组内数据做聚合计算的工具，对你的数据集来说，适合用来统计不同组的特征：

# 按group2分组，统计每个类别下reject为True/False的数量
grouped_reject_count = df.groupby('group2')['reject'].value_counts().unstack()

# 按group1分组，计算meandiff、lower、upper的均值和标准差
grouped_stats = df.groupby('group1')[['meandiff', 'lower', 'upper']].agg(['mean', 'std'])

比如第一个操作能快速看到哪些group2类别更容易出现reject=True的情况，第二个操作可以汇总group1下的统计指标波动情况。

2. Pivot：重塑数据为宽表 #

pivot（或pivot_table）用来把长表转成宽表，方便对比不同类别下的数值：

# 把group2作为列，展示每个group1下的meandiff值
pivot_meandiff = df.pivot(index='group1', columns='group2', values='meandiff')

# 同时展示reject状态和meandiff，用pivot_table支持多值聚合
pivot_multi = df.pivot_table(
    index='group1', 
    columns='group2', 
    values=['meandiff', 'reject'], 
    aggfunc={'meandiff': 'first', 'reject': 'first'}
)

转成宽表后，你能一眼对比所有group2类别对应的meandiff和是否拒绝的状态，非常适合做可视化或者快速排查。

3. Crosstab：计算交叉频次/比例 #

crosstab专门用来统计两个分类变量的交叉分布，对你的数据集来说，适合看group2和reject的关联：

# 统计group2每个类别下，reject为True/False的频次
cross_reject_freq = pd.crosstab(df['group2'], df['reject'])

# 计算行归一化的比例（每个group2类别内True/False的占比）
cross_reject_pct = pd.crosstab(df['group2'], df['reject'], normalize='index') * 100

比如第二个操作能直观看到dry_sed、phrag这些类别里，reject=True的占比是100%，而其他类别大多是False。

场景1：Groupby + Pivot：先聚合再重塑 #

如果你的数据里group1有多个取值（比如不止bacc），可以先按group1和group2聚合统计，再转成宽表对比：

# 先分组聚合每个(group1, group2)组合的meandiff均值
grouped_data = df.groupby(['group1', 'group2'])['meandiff'].mean().reset_index()
# 再转成宽表，方便对比不同group1下的group2数值
combined_pivot = grouped_data.pivot(index='group1', columns='group2', values='meandiff')

场景2：Groupby + Crosstab：分组细化交叉统计 #

如果你想拆分group1的每个组，单独看组内group2和reject的交叉情况，可以用groupby结合自定义函数：

def get_cross_table(group):
    return pd.crosstab(group['group2'], group['reject'])

# 按group1分组，每个组生成一个交叉表
grouped_cross = df.groupby('group1').apply(get_cross_table)

输出的结果是多层索引，每个group1对应一个独立的交叉表，能清晰看到不同group1分组内的差异。

场景3：Pivot + Groupby：先转宽表再聚合 #

如果你已经把数据转成宽表，想对行维度（比如group1）做进一步统计，可以这么操作：

# 先转成宽表
pivot_df = df.pivot(index='group1', columns='group2', values='meandiff')
# 对group1分组，计算所有group2类别meandiff的均值
pivot_grouped = pivot_df.groupby('group1').agg('mean')

我用你提供的部分数据写了一段完整的演示代码，你可以直接运行看效果：

import pandas as pd

# 构造你的数据集
data = [
    ['bacc', 'dry_sed', 2575.1697, 2033.6713, 3116.6681, True],
    ['bacc', 'junc_hal', -81.8513, -555.8132, 392.1106, False],
    ['bacc', 'other_trees', -1.2333, -512.6246, 510.1579, False],
    ['bacc', 'phrag', 613.2256, 0.4309, 1226.0204, True],
    ['bacc', 'water', -1074.4667, -1687.2614, -461.6719, True],
    ['bacc', 'wet_sed', -437.1854, -943.2217, 68.8508, False]
]
df = pd.DataFrame(data, columns=['group1', 'group2', 'meandiff', 'lower', 'upper', 'reject'])

# 1. Groupby统计reject分布
print("=== Groupby统计reject分布 ===")
print(df.groupby('group1')['reject'].value_counts())

# 2. Crosstab看group2与reject的交叉（带meandiff均值）
print("\n=== Crosstab交叉表（meandiff均值） ===")
print(pd.crosstab(df['group2'], df['reject'], values=df['meandiff'], aggfunc='mean'))

# 3. Pivot展示reject和meandiff的宽表
print("\n=== Pivot后的宽表 ===")
print(df.pivot(index='group1', columns='group2', values=['reject', 'meandiff']))

内容的提问来源于stack exchange，提问作者Felipe Calleja