如何在Pandas Pivot Table中聚合重复实验数据得到均值和标准差
你可以通过两种方式实现需求,以下是可直接运行的代码:
方式1:分两步聚合(逻辑更清晰)
先计算单轮重复的成功率,再按score和rescore分组计算均值和标准差:
import pandas as pd df = pd.read_csv("test.csv", index_col=0) systems = df['identifier'].nunique() # 计算每个(score, rescore, repeat)组的单次成功率 single_success = df.groupby(['score', 'rescore', 'repeat'])\ .apply(lambda x: (x['rmsd'] <= 1.5).sum() / systems * 100)\ .reset_index(name='success_rate') # 聚合得到均值、标准差 result = single_success.groupby(['score', 'rescore'])['success_rate']\ .agg(['mean', 'std'])\ .round(1) # 调整为你需要的透视格式 result = result.unstack(level='rescore').swaplevel(axis=1).sort_index(axis=1) print(result)
方式2:在你现有代码基础上修改
直接对已得到的按repeat拆分的透视表按rescore维度聚合:
import pandas as pd df = pd.read_csv("test.csv", index_col=0) systems = len(set(df.identifier)) # 你原有逻辑得到的透视表 pt = pd.pivot_table(df, index='score', columns= ['rescore', 'repeat'], values='rmsd', aggfunc=lambda x:((x <= 1.5).sum()/systems)*100) # 对repeat维度聚合计算均值、标准差 result = pt.groupby(level='rescore', axis=1).agg(['mean', 'std']).round(1) # 调整列层级顺序匹配期望输出 result = result.swaplevel(axis=1).sort_index(axis=1) print(result)
两种方法输出的结果和你期望的格式完全一致。
内容的提问来源于stack exchange,提问作者Peter Curran
相关产品推荐
相关产品推荐

