如何基于其他行的组合重复值高效删除数据集行（避免循环）

核心需求 #

• 针对含8列的数据集，需删除两类匹配行：
  1. 与其他行IP_Src、IP_Dst、Port_Src、Port_Dst完全相同的重复行
  2. 与其他行IP/端口源目标完全互换的反向匹配行（如A的IP_Src=B的IP_Dst，A的IP_Dst=B的IP_Src，端口同理）
• 数据集规模≥400万行，必须避免循环，采用高效矢量化操作

解决方案（基于Pandas的矢量化实现） #

利用标准化匹配键的思路：让正向和反向匹配的行生成同一个唯一键，再通过去重保留首次出现的行，全程无循环，性能适配百万级数据。

步骤1：导入依赖并读取数据 #

import pandas as pd
import numpy as np

# 读取大数据集，指定dtype优化内存占用
df = pd.read_csv('your_dataset.csv', dtype={
    'IP_Src': str,
    'IP_Dst': str,
    'Port_Src': int,
    'Port_Dst': int
})

步骤2：生成标准化匹配键 #

通过矢量化操作，为每行生成一个与连接方向无关的键——无论IP/端口是正向还是反向，同一组连接的行键值完全一致：

# 按IP字符串排序，确定标准化的IP顺序
ip1 = np.where(df['IP_Src'] <= df['IP_Dst'], df['IP_Src'], df['IP_Dst'])
ip2 = np.where(df['IP_Src'] <= df['IP_Dst'], df['IP_Dst'], df['IP_Src'])

# 端口跟随IP的排序逻辑同步调整，保证键的一致性
port1 = np.where(df['IP_Src'] <= df['IP_Dst'], df['Port_Src'], df['Port_Dst'])
port2 = np.where(df['IP_Src'] <= df['IP_Dst'], df['Port_Dst'], df['Port_Src'])

# 组合成唯一匹配键（元组格式比字符串拼接更高效）
df['match_key'] = list(zip(ip1, ip2, port1, port2))

步骤3：去重并清理临时列 #

基于生成的match_key去重，仅保留每组匹配行的第一行：

# 去重：保留首次出现的行，删除重复/反向匹配的冗余行
df_cleaned = df.drop_duplicates(subset='match_key', keep='first').drop(columns='match_key')

# 导出清理后的数据集
df_cleaned.to_csv('cleaned_dataset.csv', index=False)

性能说明 #

• 全程采用Pandas/Numpy的矢量化操作，避免了逐行循环，处理400万行数据的时间复杂度约为O(n log n)，远快于循环实现
• 若内存紧张，可通过chunksize参数分块读取数据集，分批执行上述逻辑，最终合并结果

内容的提问来源于stack exchange，提问作者Khalil Youcef Lagraa