如何在Pandas中按规则为含NaN的行分配分组ID？

针对你提出的分组规则，我们可以通过筛选关键列+数据预处理+GroupBy分组的方式实现，无需迭代比对行值，兼顾效率与规则准确性。

规则回顾 #

1. 若两行在指定列的所有字段中，值要么完全相同，要么为缺失值（空字符串），则分配相同ID；
2. 若指定列中任意一列存在≥2个不同非缺失值，即使忽略该列后两行可归为同组，也必须分配不同ID（规则2优先级高于规则1）。

实现思路 #

1. 缺失值转换：将空字符串替换为NaN，统一缺失值格式，方便后续非缺失值统计判断；
2. 筛选关键列：找出指定列中「非缺失值去重后数量≥2」的列，这些列是触发规则2的核心依据；
3. 非关键列统一处理：对非关键列（要么全缺失、要么仅1种非缺失值），将所有值替换为固定占位符，确保这些列不会干扰分组；
4. GroupBy生成分组ID：基于处理后的关键列+非关键列分组，用ngroup()生成连续的分组ID。

代码实现 #

import pandas as pd
import numpy as np

def generate_group_id(df, target_cols):
    # 替换空字符串为NaN，统一缺失值格式
    df_processed = df[target_cols].replace("", np.nan)
    
    # 筛选关键列：非缺失值去重后数量≥2的列
    key_cols = [col for col in target_cols if df_processed[col].dropna().nunique() >= 2]
    
    # 处理非关键列：替换为固定占位符，消除分组干扰
    non_key_cols = [col for col in target_cols if col not in key_cols]
    for col in non_key_cols:
        df_processed[col] = "GROUP_PLACEHOLDER"
    
    # 分组生成分组ID，dropna=False确保NaN作为独立分组值
    df['group_id'] = df_processed.groupby(key_cols + non_key_cols, dropna=False).ngroup()
    return df

测试示例 #

示例1：规则2不触发场景 #

df1 = pd.DataFrame({
    'Col1': ['', '', 'a'],
    'Col2': ['b', '', 'b'],
    'Col3': ['', '', '']
})
# 基于Col1、Col2生成分组ID
result1 = generate_group_id(df1, ['Col1', 'Col2'])
print(result1['group_id'])
# 输出：0 0 0 → 所有行符合规则1，分配同一ID

示例2：规则2触发场景 #

df2 = pd.DataFrame({
    'Col1': ['x', 'y', ''],
    'Col2': ['c', 'c', 'c'],
    'Col3': ['d', 'd', 'd']
})
# 基于Col1、Col2生成分组ID
result2 = generate_group_id(df2, ['Col1', 'Col2'])
print(result2['group_id'])
# 输出：0 1 2 → Col1存在2种不同非缺失值，触发规则2，按Col1的不同值（包括NaN）分配不同ID

方案说明 #

• 该方案完全基于GroupBy实现，避免了迭代行的低效操作，适合处理大型数据集；
• 关键列的筛选严格遵循规则2的优先级，确保只要列存在多值非缺失值，就必须作为分组依据；
• 非关键列的占位符处理，确保规则1在无规则2触发时生效，缺失值与唯一非缺失值被视为同一分组条件。

内容的提问来源于stack exchange，提问作者silence_of_the_lambdas