如何拆分DataFrame并筛选符合条件的唯一有效数据对？

问题场景 #

有一个包含beam、track、cycle字段的DataFrame，需求是：

1. 按这三个字段的唯一组合拆分DataFrame
2. 仅对track值不同的唯一数据对（避免顺序颠倒的重复组合，比如(A,B)和(B,A)只处理一次）执行特定函数

最初用四层嵌套循环加条件判断实现，代码冗余且效率低下，后来优化为以下高效流程：

优化步骤及代码实现 #

• 步骤1：按多字段分组生成唯一键的分组对象
  使用groupby按beam、track、cycle三个字段分组，直接得到以这三个字段唯一组合为键的分组对象：

  import pandas as pd
  from itertools import combinations, filterfalse
  
  # 假设df是目标DataFrame
  grouped = df.groupby(['beam', 'track', 'cycle'])
  # 获取所有唯一键的列表
  keys = list(grouped.groups.keys())
  

• 步骤2：生成无重复的键对组合
  用itertools.combinations生成所有无序的唯一键对，自动避免(A,B)和(B,A)这种重复组合：

  # 生成所有不重复的键对（组合而非排列）
  key_pairs = combinations(keys, 2)
  

• 步骤3：过滤掉track值相同的键对并执行函数
  用itertools.filterfalse高效过滤出两个键的track值（键的第1位索引，因为键是(beam, track, cycle)元组）不同的键对，最后遍历过滤后的键对调用目标函数：

  # 过滤track值相同的键对
  filtered_pairs = filterfalse(lambda k: k[0][1] == k[1][1], key_pairs)
  
  # 定义目标函数示例
  def target_func(group1, group2):
      # 此处编写你的特定业务逻辑
      pass
  
  # 遍历执行函数
  for pair in filtered_pairs:
      group_a = grouped.get_group(pair[0])
      group_b = grouped.get_group(pair[1])
      target_func(group_a, group_b)
  

优化优势 #

相比最初的四层嵌套循环，优化后的方案：

• 利用pandas原生分组功能替代手动遍历去重，代码更简洁
• 用combinations自动生成无重复键对，省去手动判断重复组合的逻辑
• 用filterfalse实现高效过滤，比循环移除元素的执行效率更高

内容的提问来源于stack exchange，提问作者Feva