解决Pandas读取海量CSV时的MemoryError与混合类型警告问题

看起来你在处理超大规模CSV数据集时遇到了典型的内存瓶颈，同时还伴随混合类型警告——这两个问题其实是相关的：混合类型会让pandas被迫使用内存占用极高的object dtype，再加上32位Python的内存限制，最终触发了MemoryError。下面是一套循序渐进的解决方案，从根源解决问题：

1. 彻底消除混合类型警告（同时减少内存占用） #

混合类型警告的本质是pandas无法自动推断列的正确数据类型，只能 fallback 到object类型（这是内存大户）。明确指定每一列的dtype是一箭双雕的办法：

• 先拿一个小样本文件，检查有问题列（注意：pandas的列索引从0开始，你提到的列9、11其实是第10、12列）的实际数据类型，比如用df.dtypes或者手动查看数据分布；
• 在pd.read_csv中通过dtype参数强制指定类型，示例代码：

# 根据你的数据实际情况调整dtype
dtype_config = {
    9: str,               # 如果该列是字符串类型
    11: 'int32',          # 用更小的整数类型代替默认int64
    12: 'float32',        # 精度允许的话用float32代替float64
    13: 'category',       # 如果该列是有限枚举值，category类型能省90%以上内存
    14: 'int8'            # 适合取值范围小的整数列
}
df = pd.read_csv('sample.csv', dtype=dtype_config)

这样既消除了警告，又从根源避免了object类型的高内存开销。

2. 分块读取+增量处理，拒绝一次性加载所有数据 #

不要试图把16000+行的文件一次性加载到内存，更别说10000+个文件了。用chunksize参数分块处理，或者逐个处理文件后立即释放内存：

单文件分块处理示例 #

chunk_size = 2000  # 根据你的内存情况调整，比如2000行一块
partial_results = []

for chunk in pd.read_csv('large_file.csv', dtype=dtype_config, chunksize=chunk_size):
    # 对当前块执行你需要的groupby操作
    chunk_result = chunk.groupby(['A', 'B'])['C'].sum()
    partial_results.append(chunk_result)

# 合并所有块的结果
final_result = pd.concat(partial_results).groupby(['A', 'B'])['C'].sum().reset_index()

多文件逐个处理 #

import os
import gc

all_results = []
csv_dir = 'path/to/your/csvs'

for filename in os.listdir(csv_dir):
    if filename.endswith('.csv'):
        df = pd.read_csv(os.path.join(csv_dir, filename), dtype=dtype_config, usecols=['A', 'B', 'C'])
        file_result = df.groupby(['A', 'B'])['C'].sum()
        all_results.append(file_result)
        # 立即释放当前文件的内存
        del df
        gc.collect()

# 合并所有文件的结果
final_result = pd.concat(all_results).groupby(['A', 'B'])['C'].sum().reset_index()

3. 切换到64位Python（重中之重！） #

你当前使用的是Python36-32——32位Python的内存上限通常只有2GB左右，这是导致MemoryError的核心原因之一。切换到64位Python后，内存上限会直接扩展到系统物理内存的大小（比如16GB、32GB），能解决绝大多数内存不足的问题。

4. 用更高效的工具处理超大规模数据 #

如果以上方法还是无法满足需求，可以试试专为大数据设计的库，它们不需要把所有数据加载到内存：

Dask（与pandas API兼容） #

Dask会自动分块并行处理数据，语法和pandas几乎一致：

import dask.dataframe as dd

# 读取目录下所有CSV文件
ddf = dd.read_csv('path/to/your/csvs/*.csv', dtype=dtype_config, usecols=['A', 'B', 'C'])
# 执行groupby并计算结果
final_result = ddf.groupby(['A', 'B'])['C'].sum().compute()

Vaex（内存映射，零内存压力） #

Vaex采用内存映射技术，即使是TB级的数据集也能轻松处理，无需加载到内存：

import vaex

# 读取所有CSV并创建虚拟数据集
df = vaex.read_csv('path/to/your/csvs/*.csv')
# 执行聚合操作
final_result = df.groupby(['A', 'B']).agg({'C': 'sum'})

5. 只加载需要的列 #

如果你的业务逻辑只用到A、B、C和少数其他列，用usecols参数指定只加载这些列，能大幅减少内存占用：

df = pd.read_csv('your_file.csv', usecols=['A', 'B', 'C', 9, 11, 12, 13, 14], dtype=dtype_config)

内容的提问来源于stack exchange，提问作者steveJ