You need to enable JavaScript to run this app. 如何用pandas统计60GB超大CSV文件指定列重复行的全局总次数
优惠活动
大模型
产品
解决方案
定价
更多

如何用pandas统计60GB超大CSV文件指定列重复行的全局总次数

60GB大CSV按head、tail列聚合count列的解决方案

以下三种方案均可实现全局去重累加,适配你的设备配置:

方案1:分块+全局字典聚合(内存足够的最简方案)

你的设备有64GB内存,仅存储head、tail的唯一组合和对应count总和完全足够,不需要外存依赖:

  • 初始化全局字典,键为(head值, tail值)元组,值为count累加和
  • 迭代读取每个分块,先对分块内做预聚合减少计算量,再把结果累加到全局字典
  • 全文件读取完成后,把字典转为DataFrame输出即可

示例代码:

import pandas as pd
from collections import defaultdict

count_map = defaultdict(int)
# 按需调整chunksize,1e6量级在你的设备上完全无压力
for chunk in pd.read_csv("target.csv", sep=";", chunksize=10**6, usecols=["head", "tail", "count"]):
    # 分块内先聚合,减少后续遍历次数
    chunk_agg = chunk.groupby(["head", "tail"], as_index=False)["count"].sum()
    for _, row in chunk_agg.iterrows():
        count_map[(row["head"], row["tail"])] += row["count"]

# 导出结果
result = pd.DataFrame([
    {"head": k[0], "tail": k[1], "count": v} for k, v in count_map.items()
])
result.to_csv("agg_result.csv", sep=";", index=False)

方案2:SQLite外存聚合(极端场景适配)

如果head、tail的唯一组合量超过亿级,内存不足以存储所有键,可用本地SQLite做外存聚合,无需额外部署服务:

import pandas as pd
import sqlite3
import os

# 创建临时本地数据库
conn = sqlite3.connect("temp_agg.db")
# 建表
conn.execute("CREATE TABLE IF NOT EXISTS rel (head INT, tail INT, count INT)")
conn.commit()

# 迭代写入分块预聚合结果
for chunk in pd.read_csv("target.csv", sep=";", chunksize=10**6, usecols=["head", "tail", "count"]):
    chunk_agg = chunk.groupby(["head", "tail"], as_index=False)["count"].sum()
    chunk_agg.to_sql("rel", conn, if_exists="append", index=False)

# 全局聚合导出
result = pd.read_sql("SELECT head, tail, SUM(count) AS count FROM rel GROUP BY head, tail", conn)
result.to_csv("agg_result.csv", sep=";", index=False)

# 清理临时文件
conn.close()
os.remove("temp_agg.db")

方案3:Linux命令行快速处理

如果是Linux环境,直接用awk流式处理,速度远高于Python,无需加载全量文件:

awk -F ';' 'NR==1{print $0} NR>1{key=$1";"$2; sum[key]+=$3} END{for(k in sum) print k";"sum[k]}' target.csv > agg_result.csv

内容的提问来源于stack exchange,提问作者hz2021

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.10 07:45:01