如何将千万级哈希数据按多列写入CSV以适配Excel行数限制？

针对你1550万行哈希数据的拆分需求，核心要解决的就是无对比、直接定向分配的问题——毕竟大规模数据下任何循环对比都是性能杀手。这里给你几个实用的落地思路：

1. 利用哈希值特性直接分配列（最推荐） #

既然要做频率统计，我们可以直接基于哈希值的数学特性定向分配列，完全不需要任何对比操作：

• 对每个哈希值（不管是字符串形式还是转成整数）做模15运算（hash_value % 15），得到0-14的结果，对应15列。这样每条数据一出来就知道该进哪一列，属于O(1)的分配逻辑，处理1500万条数据毫无压力。
• 举个Python实现的简化例子：

  import csv
  
  # 提前打开15个文件句柄，对应15列
  csv_writers = [csv.writer(open(f"col_{i}.csv", "w", newline="", encoding="utf-8")) for i in range(15)]
  
  with open("original_hashes.txt", "r", encoding="utf-8") as f:
      for line in f:
          hash_str = line.strip()
          # 把十六进制哈希转成整数后取模
          hash_int = int(hash_str, 16)
          col_idx = hash_int % 15
          csv_writers[col_idx].writerow([hash_str])
  
  # 关闭所有文件句柄
  for writer in csv_writers:
      writer.file.close()
  

• 这种拆分方式能保证同一个哈希值一定会落在同一列，后续在Excel里单独统计每列，或者合并统计都非常方便。

2. 按行号直接拆分（最简单，适合无哈希同列要求的场景） #

如果你的频率统计允许同一个哈希值分散在不同列，这个方法效率最高：

• 直接计数，每累计100万行就切换到下一列。比如第1-100万行写入列A的CSV，1000001-2000000写入列B的CSV，以此类推。
• 这种方式连哈希计算都省了，纯计数切换，唯一的耗时点是磁盘IO，用批量写入还能进一步优化速度。
• 后续Excel处理时，把15列数据全部导入，用数据透视表跨列汇总所有哈希值的频率，比用COUNTIF函数高效得多。

3. 写入性能优化小细节 #

不管用哪种方法，这两个小技巧能帮你把处理速度再提一档：

• 批量写入：不要逐行写文件，攒个5000-10000条数据再一次性写入，减少磁盘IO的次数。
• 高效编码+二进制模式：用open(..., "wb")配合utf-8编码，减少编码转换的开销，处理超大文件时效果尤为明显。

后续Excel频率统计建议 #

把15个CSV导入Excel后，直接选中所有列的数据，插入数据透视表：

• 把哈希值字段拖到「行」区域，再拖到「值」区域选择「计数」，就能快速得到所有哈希值的频率分布，然后直接基于透视表生成图表即可，比手动用函数统计高效太多。

内容的提问来源于stack exchange，提问作者Revokenz