aif360中ClassificationMetric类内存管理问题排查与优化咨询

• 内置工具tracemalloc追踪内存分配
  无需额外安装，在脚本开头启动追踪，循环中或函数结束后生成快照对比：

  import tracemalloc
  tracemalloc.start()
  
  # 在循环内每次迭代后添加
  snapshot = tracemalloc.take_snapshot()
  top_stats = snapshot.statistics('lineno')
  print("\n[Top 5 Memory Allocations]")
  for stat in top_stats[:5]:
      print(stat)
  

  重点关注StandardDataset、deepcopy、ClassificationMetric相关行的内存分配变化，找出未释放的内存来源。

• objgraph追踪对象引用增长
  安装后，在函数末尾添加代码查看对象类型的增长情况：

  import objgraph
  objgraph.show_growth(limit=5)  # 显示增长最多的5类对象
  print(f"ClassificationMetric实例数: {objgraph.count('ClassificationMetric')}")
  print(f"StandardDataset实例数: {objgraph.count('StandardDataset')}")
  

  若某类对象数量持续增长，说明该对象未被正确回收。

• memory_profiler逐行分析内存使用
  给目标函数添加@profile装饰器，通过命令行运行脚本：

  python -m memory_profiler your_script.py
  

  输出会展示每一行代码的内存占用变化，精准定位内存增长的具体代码行。

• 替换deepcopy减少内存复制
  原代码中deepcopy(train_transf)会复制整个数据集对象，内存开销极大。直接基于训练数据重新创建StandardDataset替代：

  # 替换deepcopy的实现
  train_transf_pred = StandardDataset(train, 
                                      label_name=target, 
                                      favorable_classes=[1], 
                                      protected_attribute_names=[protected],
                                      categorical_features=[],
                                      features_to_drop=[],
                                      privileged_classes=[[1.0]])
  train_transf_pred.labels = y_train_pred
  

  或者使用更轻量的BinaryLabelDataset（若满足需求），进一步降低内存开销。

• 显式清理对象并触发垃圾回收
  在函数末尾显式删除不再使用的大对象，强制触发垃圾回收：

  def get_spd_and_accuracy(df, protected, target):
      # ... 原有代码逻辑 ...
      
      # 计算完成后清理资源
      del class_metrics, train_transf, train_transf_pred, lmod
      import gc
      gc.collect()
  

  可调整gc.collect()的调用频率（比如每5次迭代调用一次），平衡内存回收和性能。

• 打破对象引用循环
  AIF360的ClassificationMetric可能持有数据集对象的强引用，形成循环引用导致垃圾回收失败。显式删除这些引用打破循环：

  # 在删除class_metrics前先清理内部引用
  del class_metrics.dataset, class_metrics.dataset_pred
  del class_metrics
  

• 复用数据集结构
  由于每次循环的数据集结构固定，可在循环外提前定义StandardDataset的初始化参数，避免重复创建相同结构的对象，减少内存分配次数。

内容的提问来源于stack exchange，提问作者Nitesh