如何高效为熔解后DataFrame的每个ID分配分组并拆分统计？

一、快速添加group列 #

完全不需要逐行循环，利用pandas的矢量化映射操作，能把30万行数据的处理时间压缩到毫秒级：

场景1：分组字典为{样本ID: 分组名}格式（如ID_group = {"Sample1": "GroupA", ...}） #

直接用variable列映射字典：

final_ref_melt["group"] = final_ref_melt["variable"].map(ID_group)

若存在部分样本ID不在字典中，可添加默认值填充：

final_ref_melt["group"] = final_ref_melt["variable"].map(ID_group).fillna("Unknown")

场景2：分组字典为{分组名: 样本ID列表}格式（如group_IDs = {"GroupA": ["Sample1", "Sample2"], ...}） #

先反转字典为{样本ID: 分组名}格式，再执行映射：

# 反转字典结构
id_to_group = {sample: group for group, samples in group_IDs.items() for sample in samples}
# 批量映射分组
final_ref_melt["group"] = final_ref_melt["variable"].map(id_to_group)

二、按分组拆分与统计计算 #

1. 直接完成统计（推荐） #

如果最终目标是统计计算（均值、标准差、求和等），无需拆分DataFrame，直接用groupby()+聚合方法一步完成：

# 示例：按分组和实验条件聚合，计算value的均值、标准差、样本量
group_stats = final_ref_melt.groupby(["group", "expcond"])["value"].agg(["mean", "std", "count"])

2. 拆分成分组DataFrame字典（若需单独操作分组数据） #

用groupby()直接转换为字典，比手动循环切片效率高得多：

final_ref_groups = dict(tuple(final_ref_melt.groupby("group")))
# 后续可通过键直接访问分组，如 final_ref_groups["GroupA"]

效率说明 #

pandas的map()、groupby()都是基于底层C实现的矢量化操作，完全规避了Python层面逐行循环的性能开销，30万级数据的处理速度会比原方法提升几十甚至上百倍。

内容的提问来源于stack exchange，提问作者Whitehot