如何加速文件中每行文本的SHA256哈希计算？

原代码的核心性能瓶颈是频繁调用os.system启动子进程写入文件，其次是不必要的全文件加载和低效IO操作。以下是针对性的优化方案：

1. 替换os.system为Python原生文件写入 #

每次调用os.system('echo ...')都会启动新的shell进程，这会产生巨大的额外开销。直接用Python文件对象写入可以完全规避这个问题。

2. 逐行迭代文件对象（替代readlines()） #

f.readlines()会把整个文件加载到内存，大文件场景下既占内存又拖慢速度。直接迭代文件对象能实现逐行读取，内存占用更低。

3. 批量写入减少IO次数（可选） #

如果处理超大规模文件，可先将哈希值缓存到列表，达到指定数量后批量写入，减少磁盘IO的频次。

基础优化版代码 #

import hashlib

# 用with语句自动管理文件资源，避免手动关闭
with open('plain_text.txt', 'r', encoding='utf-8') as infile, \
     open('sha256_file.txt', 'w', encoding='utf-8') as outfile:
    for line in infile:
        # 移除行尾换行符（如需清除所有首尾空白，可改用line.strip()）
        cleaned_line = line.rstrip('\n')
        # 计算SHA256哈希并转为十六进制字符串
        sha256_hash = hashlib.sha256(cleaned_line.encode('utf-8')).hexdigest()
        # 直接写入文件，末尾添加换行符
        outfile.write(f"{sha256_hash}\n")

批量写入进阶版代码 #

适合处理百万级以上行数的文件：

import hashlib

BATCH_SIZE = 1000  # 每累积1000条哈希值批量写入一次

with open('plain_text.txt', 'r', encoding='utf-8') as infile, \
     open('sha256_file.txt', 'w', encoding='utf-8') as outfile:
    batch = []
    for line in infile:
        cleaned_line = line.rstrip('\n')
        sha256_hash = hashlib.sha256(cleaned_line.encode('utf-8')).hexdigest()
        batch.append(f"{sha256_hash}\n")
        
        # 达到批量阈值时写入磁盘
        if len(batch) >= BATCH_SIZE:
            outfile.writelines(batch)
            batch = []
    # 写入剩余未批量的哈希值
    if batch:
        outfile.writelines(batch)

额外提示 #

• 若文本文件编码非UTF-8，调整encode的参数（如gbk）即可适配。
• 仅当单进程CPU计算成为瓶颈时，才考虑用multiprocessing多进程并行处理，需注意文件读写的同步问题。

内容的提问来源于stack exchange，提问作者Dan Gonzalez