如何用pandas统计60GB超大CSV文件指定列重复行的全局总次数
60GB大CSV按head、tail列聚合count列的解决方案
以下三种方案均可实现全局去重累加,适配你的设备配置:
方案1:分块+全局字典聚合(内存足够的最简方案)
你的设备有64GB内存,仅存储head、tail的唯一组合和对应count总和完全足够,不需要外存依赖:
- 初始化全局字典,键为
(head值, tail值)元组,值为count累加和 - 迭代读取每个分块,先对分块内做预聚合减少计算量,再把结果累加到全局字典
- 全文件读取完成后,把字典转为DataFrame输出即可
示例代码:
import pandas as pd from collections import defaultdict count_map = defaultdict(int) # 按需调整chunksize,1e6量级在你的设备上完全无压力 for chunk in pd.read_csv("target.csv", sep=";", chunksize=10**6, usecols=["head", "tail", "count"]): # 分块内先聚合,减少后续遍历次数 chunk_agg = chunk.groupby(["head", "tail"], as_index=False)["count"].sum() for _, row in chunk_agg.iterrows(): count_map[(row["head"], row["tail"])] += row["count"] # 导出结果 result = pd.DataFrame([ {"head": k[0], "tail": k[1], "count": v} for k, v in count_map.items() ]) result.to_csv("agg_result.csv", sep=";", index=False)
方案2:SQLite外存聚合(极端场景适配)
如果head、tail的唯一组合量超过亿级,内存不足以存储所有键,可用本地SQLite做外存聚合,无需额外部署服务:
import pandas as pd import sqlite3 import os # 创建临时本地数据库 conn = sqlite3.connect("temp_agg.db") # 建表 conn.execute("CREATE TABLE IF NOT EXISTS rel (head INT, tail INT, count INT)") conn.commit() # 迭代写入分块预聚合结果 for chunk in pd.read_csv("target.csv", sep=";", chunksize=10**6, usecols=["head", "tail", "count"]): chunk_agg = chunk.groupby(["head", "tail"], as_index=False)["count"].sum() chunk_agg.to_sql("rel", conn, if_exists="append", index=False) # 全局聚合导出 result = pd.read_sql("SELECT head, tail, SUM(count) AS count FROM rel GROUP BY head, tail", conn) result.to_csv("agg_result.csv", sep=";", index=False) # 清理临时文件 conn.close() os.remove("temp_agg.db")
方案3:Linux命令行快速处理
如果是Linux环境,直接用awk流式处理,速度远高于Python,无需加载全量文件:
awk -F ';' 'NR==1{print $0} NR>1{key=$1";"$2; sum[key]+=$3} END{for(k in sum) print k";"sum[k]}' target.csv > agg_result.csv
内容的提问来源于stack exchange,提问作者hz2021
相关产品推荐
相关产品推荐

