如何解决超大CSV分块读取时标识符跨块及OOM问题？

针对你的场景，这里有几个高效且低内存占用的解决方案：

1. 用Python内置csv模块逐行统计（最省内存） #

完全避开pandas的内存开销，直接逐行读取文件并维护计数器，内存占用仅取决于不同标识符的数量，适合任何规模的文件：

import csv
from collections import defaultdict

# 初始化计数器
id_counts = defaultdict(int)

# 逐行读取CSV
with open("your_large_file.csv", "r", newline="", encoding="utf-8") as f:
    reader = csv.DictReader(f)
    # 替换成你的标识符列名
    id_col = "your_identifier_column"
    for row in reader:
        id_counts[row[id_col]] += 1

# 如需转为DataFrame（可选）
import pandas as pd
count_df = pd.DataFrame.from_dict(id_counts, orient="index", columns=["row_count"])

2. Pandas分块读取+全局计数器 #

如果习惯用pandas，可以分块读取仅包含标识符的列，同时用全局字典累计各标识符的行数，解决跨块拆分的问题：

import pandas as pd
from collections import defaultdict

# 根据内存情况调整分块大小
chunk_size = 50_000
id_counts = defaultdict(int)

# 仅读取标识符列，减少每个块的内存占用
for chunk in pd.read_csv(
    "your_large_file.csv",
    chunksize=chunk_size,
    usecols=["your_identifier_column"]
):
    # 统计当前块的计数并合并到全局
    chunk_count = chunk["your_identifier_column"].value_counts().to_dict()
    for identifier, cnt in chunk_count.items():
        id_counts[identifier] += cnt

# 转为DataFrame
count_df = pd.DataFrame.from_dict(id_counts, orient="index", columns=["row_count"])

3. 用命令行工具预处理（最快） #

如果你的系统是Linux/macOS（Windows可通过WSL实现），用awk这类系统级工具处理，速度远快于Python，且内存占用极低：

# 假设标识符在第2列（CSV列从1开始计数），输出结果到counts.csv
awk -F ',' '{count[$2]++} END {for (id in count) print id "," count[id]}' your_large_file.csv > counts.csv

# 读取结果到DataFrame
import pandas as pd
count_df = pd.read_csv("counts.csv", names=["identifier", "row_count"])

内容的提问来源于stack exchange，提问作者Zegher V