Python处理大型DataFrame时出现内存错误的解决方案咨询

嘿，碰到5-10GB的大CSV文件在pandas里处理时爆内存的问题太常见了！我给你几个实用的解决方案，一步步帮你搞定：

一次性把整个大文件塞进内存肯定扛不住，咱们可以把文件切成一小块一小块（chunk）来分批处理，处理完一块就写入输出文件，完全不用占满内存。

你可以把原有的列处理逻辑封装成函数，然后循环处理每个chunk：

import pandas as pd

# 封装列清洗和去重的函数，每个chunk都复用这个逻辑
def clean_and_deduplicate_columns(df):
    # 统一列名格式：小写、去空格、替换特殊字符为下划线
    df.columns = df.columns.str.lower()
    df.columns = df.columns.str.strip()
    df.columns = df.columns.str.replace(r'[\s\-:]', '_', regex=True)
    # 移除重复列
    df = df.loc[:, ~df.columns.duplicated()]
    return df

# 设置分块大小，根据你的内存情况调整（比如每块10万行，可增可减）
chunk_size = 100000
output_filename = 'cleaned_A.csv'

# 标记是否是第一个chunk（用来写入表头）
is_first_chunk = True

# 分块读取原CSV
for chunk in pd.read_csv('A.csv', chunksize=chunk_size):
    # 处理当前chunk
    cleaned_chunk = clean_and_deduplicate_columns(chunk)
    
    # 写入输出文件：第一次写表头，之后的chunk只写数据
    cleaned_chunk.to_csv(
        output_filename,
        mode='a',
        header=is_first_chunk,
        index=False
    )
    is_first_chunk = False

pandas默认会给列分配比较“宽松”的数据类型（比如用int64、float64），但很多时候我们可以用更小的类型来节省内存，比如用int32代替int64，用category类型存重复率高的字符串列。

步骤如下：

• 先读一小部分数据查看各列的类型和数据范围
• 手动指定更节省内存的dtype参数
• 配合分块读取使用

示例代码：

# 先读取1000行样本，分析数据类型
sample_df = pd.read_csv('A.csv', nrows=1000)
print("原数据类型：\n", sample_df.dtypes)

# 自定义数据类型映射（根据你的实际数据调整）
dtype_mapping = {
    "user_id": "int32",  # 如果ID范围在int32内（-2^31到2^31-1）
    "category": "category",  # 重复率高的字符串列用category
    "price": "float32"  # 不需要高精度的浮点列用float32
}

# 如果只需要部分列，用usecols指定，进一步减少内存
target_columns = ["user_id", "category", "price", "create_time"]

# 分块读取时应用优化
for chunk in pd.read_csv(
    'A.csv',
    chunksize=chunk_size,
    dtype=dtype_mapping,
    usecols=target_columns
):
    cleaned_chunk = clean_and_deduplicate_columns(chunk)
    # 写入逻辑同上...

如果分块处理还是觉得麻烦，可以试试Dask——它是专门处理超大数据集的工具，语法和pandas几乎一致，但会自动并行处理数据，不用把整个文件加载到内存。

示例代码：

import dask.dataframe as dd

# 读取CSV，Dask自动分块
ddf = dd.read_csv('A.csv')

# 列处理逻辑和pandas几乎一样
ddf.columns = ddf.columns.str.lower().str.strip().str.replace(r'[\s\-:]', '_', regex=True)
# 移除重复列
ddf = ddf.loc[:, ~ddf.columns.duplicated()]

# 保存为单个CSV文件（Dask默认会生成多个文件，加single_file=True合并成一个）
ddf.to_csv('cleaned_A_dask.csv', single_file=True, index=False)

• 如果你的CSV里有很多缺失值，可以用na_values参数指定缺失值标记，让pandas更准确地推断类型
• 避免用low_memory=False（虽然能解决一些类型推断警告，但不如手动指定dtype高效）

内容的提问来源于stack exchange，提问作者iprof0214