如何用Python Pandas重写R中Group by取unique值的函数？求差异解析

咱们先把核心问题拆明白：你说的R里「Group by后取unique值」其实有两种常见的业务逻辑，先对应上你实际的R代码，才能找到Pandas写法的差异~

一、先明确你的R代码是哪种逻辑 #

R里的group by+unique通常分两种场景：

1. 场景1：分组后保留每组内的所有唯一行
   比如用dplyr写的话是这样：

   library(dplyr)
   df %>% 
     group_by(a, b) %>%  # 假设你按a、b列分组
     distinct()          # 每组内去掉重复的整行，保留所有唯一行
   

   这种情况下返回的行数是各组内唯一行的总和——比如10个分组，每个分组有3个唯一行，结果就有30行左右。

2. 场景2：分组后提取每组内各列的唯一值（转成集合/列表）
   对应的R代码大概是：

   df %>% 
     group_by(a, b) %>% 
     summarise(across(c:i, ~unique(.x)))  # 对c到i列，提取每个组里的所有唯一值
   

   这种情况返回的行数等于分组的数量，每一行对应一个分组，非分组列的值是该组的唯一值数组。

二、你遇到的两段Pandas代码的差异分析 #

你说两段Pandas代码返回行数相同，但都比R少，大概率是混淆了「全局去重」和「组内去重」，或者用了错误的聚合函数，常见的差异点：

差异1：全局去重 vs 组内去重 #

• 比如你写了df.drop_duplicates(subset=['a','b'])：这是全局去重，只保留每个(a,b)组合的第一行，行数等于分组数——看起来行数少，因为它不是保留每组内的所有唯一行，而是每个分组只留一行。
• 而如果是df.groupby(['a','b']).apply(lambda x: x.drop_duplicates())：这是组内去重，会保留每组内的所有唯一行，行数应该和R场景1的结果一致。

差异2：统计唯一值数量 vs 提取实际唯一值 #

• 如果你的代码是df.groupby(['a','b']).nunique()：这是统计每个组内各列的唯一值个数，返回的是计数结果，行数等于分组数，和R里的n_distinct对应，但不是取实际的unique值。
• 而df.groupby(['a','b']).agg(lambda x: x.unique())：这是提取每个组内各列的实际唯一值，行数等于分组数，和R场景2的逻辑一致。

如果你的两段Pandas代码都是上述「行数等于分组数」的写法（比如全局去重和计数函数），那它们行数自然相同，但都不符合R场景1的逻辑，所以行数比R少。

三、正确重写R函数的方式 #

根据你的实际R逻辑对应选择：

对应R场景1：分组后保留组内唯一行 #

直接用groupby结合drop_duplicates，高效写法如下：

# 按a、b分组，保留每组内的所有唯一整行
result = df.groupby(['a', 'b'], group_keys=False).apply(lambda x: x.drop_duplicates()).reset_index(drop=True)

# 如果是组内按指定列去重（比如按c、d列），就给drop_duplicates传subset参数：
result = df.groupby(['a', 'b'], group_keys=False).apply(lambda x: x.drop_duplicates(subset=['c', 'd'])).reset_index(drop=True)

对应R场景2：分组后提取组内各列的唯一值 #

用groupby+agg调用pd.Series.unique即可：

# 按a、b分组，提取c到i列的组内唯一值（返回数组格式）
result = df.groupby(['a', 'b'])[['c','d','e','f','g','h','i']].agg(pd.Series.unique)

# 如果想把唯一值转成逗号分隔的字符串（类似R里的拼接操作）：
result = df.groupby(['a', 'b'])[['c','d','e','f','g','h','i']].agg(lambda x: ', '.join(map(str, x.unique())))

四、快速排查行数差异的小技巧 #

你可以先核对R结果的行数：

• 如果R行数远大于分组数：那肯定是场景1，你之前的Pandas代码大概率用了全局去重或者计数函数，导致行数不足。
• 如果R行数等于分组数：那是场景2，此时检查是否有NA值差异——R和Pandas的unique()都会保留NA，但如果分组键里有NA，要确认Pandas的groupby是否把NA作为分组（默认是会的，和R一致）。

内容的提问来源于stack exchange，提问作者narcissa