使用Pandas加载Medicare CSV文件时触发MemoryError的原因咨询

我之前也踩过一模一样的坑——明明任务管理器显示还有大把内存没用，Pandas加载全量数据就是报MemoryError。其实这背后主要是Pandas的内存使用逻辑和数据类型推断的问题，咱们一步步来解决：

核心原因：CSV文件大小≠内存占用 #

800MB的CSV加载到Pandas里，内存占用可能会膨胀3-10倍，因为：

• Pandas默认会把字符串列存成object类型，每个字符串都是一个指针，占空间极大；
• 数值列默认用最大精度的类型（比如int64/float64），但很多时候用更小的类型（比如int32/float32）完全足够；
• 加载过程中会产生临时数据（比如解析时的中间缓存），这些内存占用可能不会立刻在任务管理器里体现出来。

具体解决方案 #

1. 强制指定更高效的数据类型 #

先读取一小部分数据，查看各列的类型和数值范围，然后手动指定更节省内存的类型：

import pandas as pd

# 先读1000行样本，分析列属性
sample_df = pd.read_csv("your_file.csv", nrows=1000)
print(sample_df.dtypes)
# 对数值列看范围，比如：print(sample_df["numeric_col"].describe())

# 定义类型映射字典
dtype_config = {
    "string_col1": "category",  # 重复值多的字符串列用category
    "numeric_col1": "int32",    # 如果数值范围在-2^31到2^31-1之间
    "numeric_col2": "float32",  # 不需要高精度的浮点列
    "bool_col": "boolean"       # 布尔值用专门的boolean类型
}

# 用指定类型加载全量数据
full_df = pd.read_csv("your_file.csv", dtype=dtype_config)

2. 只加载需要的列 #

如果不需要所有列，用usecols参数过滤，能直接砍掉一大半内存占用：

# 列出你需要分析的列
required_cols = ["col1", "col2", "col5", "col8"]
full_df = pd.read_csv("your_file.csv", usecols=required_cols, dtype=dtype_config)

3. 分块加载处理 #

如果上面的方法还是不够，就用chunksize分块读取，逐块处理后再合并：

chunk_size = 150000  # 每次读15万行，根据你的内存调整
processed_chunks = []

for chunk in pd.read_csv("your_file.csv", chunksize=chunk_size, dtype=dtype_config, usecols=required_cols):
    # 这里可以加预处理逻辑，比如过滤无效行、计算临时指标
    cleaned_chunk = chunk[chunk["valid_col"].notna()]
    processed_chunks.append(cleaned_chunk)

# 合并所有块
full_df = pd.concat(processed_chunks, ignore_index=True)

4. 换用更高效的读取引擎 #

试试用pyarrow引擎读取，它的内存效率比默认的c引擎更高：

# 需要先安装pyarrow：pip install pyarrow
full_df = pd.read_csv("your_file.csv", engine="pyarrow", dtype=dtype_config, usecols=required_cols)

额外检查点 #

• 确认你用的是64位Python：32位Python有单个进程内存限制（通常4GB左右），哪怕你有16GB物理内存也没用；
• 关闭其他占用内存的程序：虽然任务管理器显示使用率低，但有些后台程序可能会突然抢占内存，导致加载时触发错误。

内容的提问来源于stack exchange，提问作者CandleWax