Pandas保留重复组首尾行去重及内存优化问题咨询

1. 原方法是否需要占用文件大小3倍的内存？ #

不需要。原代码中生成的df.B.shift()、df.B.shift(-1)以及布尔比较结果都是临时布尔Series，这类对象的内存占用远小于原DataFrame（布尔类型每个元素仅占1字节左右，而原数据的数值类型通常占4/8字节）。实际内存主要消耗在加载后的原DataFrame上，临时对象只是额外的小幅开销，不会达到文件大小的3倍。

但要注意：如果原DataFrame本身已经接近服务器内存上限（比如数百MB的日志加载后可能占用1-2倍磁盘大小的内存，因为pandas会把磁盘文本转成内存数值类型），临时对象的叠加可能触发内存溢出。

2. 更内存高效的实现方式 #

可以从内存优化和分块处理两个方向入手：

方式一：精简逻辑+优化数据类型 #

原逻辑可简化为更紧凑的写法，减少临时对象创建：

# 等价原逻辑，减少中间变量
mask = df['B'].ne(df['B'].shift()) | df['B'].ne(df['B'].shift(-1))
df = df[mask]

同时提前优化数据类型，大幅降低原DataFrame内存占用：

# 将列转为最小可行的整数类型
df['B'] = pd.to_numeric(df['B'], downcast='integer')
df['A'] = pd.to_numeric(df['A'], downcast='integer')

方式二：分块读取处理（最适合超大文件） #

利用pandas分块读取功能，每次仅加载小部分数据到内存，逐块处理后合并结果：

chunk_size = 10000  # 可根据内存情况调整
chunks = []
prev_last_row = None

for chunk in pd.read_csv('your_log_file.csv', chunksize=chunk_size):
    # 标记当前块需保留的行
    mask = chunk['B'].ne(chunk['B'].shift()) | chunk['B'].ne(chunk['B'].shift(-1))
    processed_chunk = chunk[mask]
    
    # 处理块间衔接：若前块最后一行与当前块首行B值相同，需保留这两行
    if prev_last_row is not None:
        if prev_last_row['B'].values[0] == processed_chunk.iloc[0]['B']:
            chunks.append(prev_last_row)
    chunks.append(processed_chunk)
    
    # 记录当前块最后一行，用于下一块衔接判断
    prev_last_row = chunk.iloc[-1:-2:-1]

# 合并所有块并去重
final_df = pd.concat(chunks, ignore_index=True).drop_duplicates(keep='first')

方式三：groupby提取首尾行 #

如果相同B值的组是连续的（符合日志场景），可直接分组提取每组首尾行：

# 按B分组，提取每组首末行后按原索引排序
groups = df.groupby('B', sort=False)
final_df = pd.concat([groups.first(), groups.last()]).sort_index()

内容的提问来源于stack exchange，提问作者Viktor