如何在大型DataFrame中选择列范围批量使用replace函数？

针对大DataFrame全量替换导致内存溢出的问题，可以通过分批次处理列范围的方式降低内存占用，以下是几种可行方案：

1. 自动分批处理列 #

将所有列按固定大小分成若干批次，循环处理每一批列的替换操作，避免一次性加载全量数据到内存：

import pandas as pd

# 定义批次大小，可根据内存情况调整（比如20、30列一批）
batch_size = 20
# 获取所有列名列表
all_cols = df.columns.tolist()

# 循环处理每一批列
for start_idx in range(0, len(all_cols), batch_size):
    # 截取当前批次的列
    current_cols = all_cols[start_idx : start_idx + batch_size]
    # 对当前批次列执行替换：-1和-2替换为0
    df[current_cols] = df[current_cols].replace({-1: 0, -2: 0})

2. 手动指定列范围处理 #

如果更倾向于明确划分列区间，比如按前/中/后段分块，直接通过索引定位列范围处理：

# 处理前50列
df.iloc[:, :50] = df.iloc[:, :50].replace({-1: 0, -2: 0})
# 处理中间50列（第51到100列）
df.iloc[:, 50:100] = df.iloc[:, 50:100].replace({-1: 0, -2: 0})
# 处理剩余列（第101到150列）
df.iloc[:, 100:] = df.iloc[:, 100:].replace({-1: 0, -2: 0})

3. 更高效的数值替换方法（针对数值型列） #

如果需要替换的列都是数值类型，使用mask方法会比replace更节省内存和时间，原理是直接标记需要替换的位置并赋值：

batch_size = 20
all_cols = df.columns.tolist()

for start_idx in range(0, len(all_cols), batch_size):
    current_cols = all_cols[start_idx : start_idx + batch_size]
    # 筛选出当前列中等于-1或-2的位置，替换为0
    df[current_cols] = df[current_cols].mask(df[current_cols].isin([-1, -2]), 0)

额外优化建议 #

• 先筛选出需要替换的列：如果DataFrame包含非数值列，先通过df.select_dtypes(include=['int64', 'float64']).columns获取数值型列，只对这些列执行替换操作，减少不必要的计算。
• 避免生成临时DataFrame：直接对原DataFrame的列赋值，不要创建中间变量存储替换后的结果，进一步降低内存开销。

内容的提问来源于stack exchange，提问作者Seano