如何基于生成的dummy变量拆分Pandas DataFrame

单场景筛选实现 #

你举例的筛选需求可以直接用pandas布尔索引完成，代码如下：

# 筛选同时满足两个dummy字段值为1的子数据集
target_sub_df = dum_df[(dum_df["Tipo Buque is_Ro-Ro Cargo Ship"] == 1) & (dum_df["Operación is Salida"] == 1)]

如果需要重置子数据集的索引，可在代码末尾添加.reset_index(drop=True)清除原索引的继承关系。

批量拆分全组合子数据集 #

如果你需要将三个字段所有取值组合对应的子数据集全部自动拆分，可通过字典存储所有拆分结果，实现代码如下：

import itertools

# 分别提取三个分类字段对应的所有dummy列名
origen_destino_cols = [col for col in dum_df.columns if col.startswith("Origen and Destino are")]
operacion_cols = [col for col in dum_df.columns if col.startswith("Operación is")]
tipo_buque_cols = [col for col in dum_df.columns if col.startswith("Tipo Buque is")]

# 用字典存储所有子数据集，键为组合标识，值为对应子DataFrame
sub_df_collection = {}
# 遍历所有取值组合
for od_col, op_col, tb_col in itertools.product(origen_destino_cols, operacion_cols, tipo_buque_cols):
    # 生成易读的组合标识
    group_key = f"OD_{od_col.split('are ')[1]}_OP_{op_col.split('is ')[1]}_TB_{tb_col.split('is ')[1]}"
    # 筛选对应组合的数据
    current_sub_df = dum_df[(dum_df[od_col] == 1) & (dum_df[op_col] == 1) & (dum_df[tb_col] == 1)]
    # 仅保留存在有效数据的组合
    if not current_sub_df.empty:
        sub_df_collection[group_key] = current_sub_df.reset_index(drop=True)

如果不需要按三个字段全组合拆分，仅需按指定字段组合拆分，调整itertools.product中传入的列列表即可。后续可直接通过sub_df_collection["对应组合标识"]调取目标子数据集。

内容的提问来源于stack exchange，提问作者Enrique