Pandas按列元素组合分组统计共现：高效生成边列表方法

我来给你分享一个完全贴合需求的高效实现方法，全程用Pandas的向量化操作+高效迭代器，处理大数据量也能保持不错的性能：

1. 先明确核心逻辑 #

你的需求核心是：同一个Batch内的重复节点对只算一次，最终统计每个节点对在多少个Batch中出现（或者说节点对的独立Batch出现次数）。我们先从示例数据入手演示：

假设你的原始DataFrame结构如下（模拟你的场景）：

import pandas as pd
import itertools

# 模拟示例数据：Batch2里B-C出现两次，但我们只算一次
data = {
    'Batch_ID': [1,1,1,2,2,2,2],
    'Node': ['A', 'B', 'C', 'B', 'C', 'B', 'C']
}
df = pd.DataFrame(data)

2. 按Batch分组生成唯一节点对 #

我们利用groupby按批次分组，对每个批次的节点先去重，再生成无序节点对（避免A-B和B-A被当成不同边），这样从根源上避免同一个批次内出现重复节点对：

# 定义生成批次内唯一节点对的函数
def get_unique_batch_pairs(group):
    # 先对当前批次的节点去重，避免重复节点生成重复对
    unique_nodes = group['Node'].unique()
    # 生成所有无序节点组合（combinations是无序的，不会产生重复方向的边）
    return pd.DataFrame(itertools.combinations(unique_nodes, 2), columns=['source', 'target'])

# 按Batch_ID分组处理，合并所有结果
edge_pairs = df.groupby('Batch_ID').apply(get_unique_batch_pairs).reset_index(drop=True)

3. 统计节点对的出现次数 #

现在我们只需要统计每个节点对在多少个批次中出现过，直接分组计数即可：

# 统计每个边的独立批次出现次数
edge_list_df = edge_pairs.groupby(['source', 'target']).size().reset_index(name='count')

运行后你会看到，Batch2的B-C只被计数一次，最终的edge_list_df就是符合要求的边列表。

4. 可选：处理有向边场景 #

如果你的场景中A→B和B→A是不同的边，只需要把itertools.combinations换成itertools.permutations即可：

def get_directed_batch_pairs(group):
    unique_nodes = group['Node'].unique()
    return pd.DataFrame(itertools.permutations(unique_nodes, 2), columns=['source', 'target'])

edge_pairs = df.groupby('Batch_ID').apply(get_directed_batch_pairs).reset_index(drop=True)
edge_list_df = edge_pairs.groupby(['source', 'target']).size().reset_index(name='count')

5. 转换为NetworkX对象 #

得到edge_list_df后，直接用NetworkX的内置方法就能生成图对象：

import networkx as nx

# 生成带权重（count）的图
G = nx.from_pandas_edgelist(edge_list_df, source='source', target='target', edge_attr='count')

为什么这个方法高效？ #

• 全程用Pandas的groupby+向量化操作，避免了手动循环每个批次，性能远高于逐行处理；
• itertools的组合/排列函数是底层C实现的，生成节点对的速度极快；
• 先对批次内节点去重再生成对，从根源上避免了重复计算，不需要额外的去重步骤浪费资源。

内容的提问来源于stack exchange，提问作者Melsauce