如何删除DataFrame中特定列与前一行完全相同的紧邻重复行？

问题背景 #

给定如下结构的DataFrame：

import pandas as pd

data = pd.DataFrame({'ind': [111,222,333,444,555,666,777,888,999,000], 
                     'col1': [1,2,2,2,3,4,5,5,6,7], 
                     'col2': [9,2,2,2,9,9,5,5,9,9], 
                     'col3': [11,2,2,2,11,11,5,5,11,11], 
                     'val': ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j']})

需要删除所有在col1、col2、col3这三列上与紧邻前一行完全相同的行，最终得到清理后的DataFrame：

data_clean = pd.DataFrame({'ind': [111,222,555,666,777,999,000], 
                     'col1': [1,2,3,4,5,6,7], 
                     'col2': [9,2,9,9,5,9,9], 
                     'col3': [11,2,11,11,5,11,11], 
                     'val': ['a', 'b', 'e', 'f', 'g', 'i', 'j']})

最优解法（针对大规模数据集） #

使用Pandas的向量化操作实现，避免逐行循环，代码如下：

# 筛选出特征列与前一行不完全相同的行
data_clean = data[data[['col1', 'col2', 'col3']].ne(data[['col1', 'col2', 'col3']].shift()).any(axis=1)]

方法说明 #

1. shift()：将目标特征列整体向下偏移一行，使当前行能直接与前一行做元素级比较
2. ne()：执行"不等于"的向量化比较，生成一个布尔值DataFrame，标记每个位置是否与前一行不同
3. any(axis=1)：按行判断，只要当前行有一个特征列与前一行不同，就保留该行（自动排除三个特征列都与前一行相同的行）

这种方法基于Pandas底层的C实现，完全是向量化运算，处理百万级甚至更大规模的数据集时，效率远高于Python循环或其他逐行处理方式。

内容的提问来源于stack exchange，提问作者Bas R