Python：同一上下文管理器中以r和rb模式打开同一文件是否可行？

问题背景 #

需处理约10GB的大CSV文件，要求：

1. 计算的文件SHA256校验和与原文件完全一致
2. 将文件解析为字典列表
   尝试以文本模式读取字符串再编码为字节计算哈希，结果与二进制模式读取的正确哈希值不符，确认同时以'r'和'rb'模式打开同一文件是否可行，以及正确的处理方式。

用户提供的示例代码：

示例代码1（双流打开） #

with open(full_path, 'r') as s_stream, open(full_path, 'rb') as b_stream:
    rows = csv.DictReader(s_stream, delimiter=self.delimiter) # list of dicts
    print(sha256(b_stream.read())) #sha256 on bytes

尝试的代码（单文本流转字节） #

with open(full_path, 'r', encoding='utf-8') as s_stream:
    print(sha256(s_stream.read().encode('utf-8'))) #sha256 on str that converted to bytes

核心结论 #

1. 同时以'r'和'rb'模式打开同一文件完全可行：两个流拥有独立的文件描述符和文件指针，操作互不干扰，适合大文件场景下同时做文本解析和原始字节校验。
2. 文本转字节的哈希不一致原因：文本模式读取会自动转换换行符（如Windows下\r\n转为\n），且编码过程可能引入字符转换差异，导致最终字节与原文件原始字节不匹配，因此校验和必然不同。

正确处理方案（针对10GB大文件） #

大文件不能一次性加载到内存，必须分块/逐行处理，以下是两种可靠方案：

方案一：双流分块并行处理 #

同时用文本流逐行解析CSV，二进制流分块计算哈希，内存占用可控：

import hashlib
import csv

def process_large_csv(full_path, delimiter=','):
    # 初始化哈希对象
    sha256 = hashlib.sha256()
    # 双流打开文件，各自独立操作
    with open(full_path, 'r', encoding='utf-8') as text_stream, open(full_path, 'rb') as bin_stream:
        # 逐行解析CSV，避免加载全量数据
        csv_reader = csv.DictReader(text_stream, delimiter=delimiter)
        parsed_rows = []
        
        # 逐行读取解析（可按需批量处理，比如每1000条写入磁盘/数据库）
        for row in csv_reader:
            parsed_rows.append(row)
        
        # 分块读取二进制内容计算哈希，每次读64KB（匹配SHA256的块大小，优化性能）
        chunk_size = 65536
        while chunk := bin_stream.read(chunk_size):
            sha256.update(chunk)
    
    return parsed_rows, sha256.hexdigest()

方案二：先校验后解析（顺序处理） #

如果不需要同时操作，可先完成哈希校验，再解析CSV，同样分块处理：

import hashlib
import csv

def calculate_file_sha256(full_path):
    sha256 = hashlib.sha256()
    with open(full_path, 'rb') as f:
        chunk_size = 65536
        while chunk := f.read(chunk_size):
            sha256.update(chunk)
    return sha256.hexdigest()

def parse_large_csv(full_path, delimiter=','):
    parsed_rows = []
    with open(full_path, 'r', encoding='utf-8') as f:
        csv_reader = csv.DictReader(f, delimiter=delimiter)
        for row in csv_reader:
            parsed_rows.append(row)
    return parsed_rows

# 调用示例
file_hash = calculate_file_sha256("large_file.csv")
csv_rows = parse_large_csv("large_file.csv", delimiter=',')

关键注意事项 #

• 绝对禁止一次性读取全量文件：read()会将10GB数据加载到内存，直接导致内存溢出，必须分块/逐行处理。
• 校验和必须用二进制模式计算：只有二进制模式能读取文件原始字节，避免文本模式的换行符、编码转换等干扰。
• 处理带BOM的文件：如果CSV是UTF-8带BOM格式，文本模式打开需指定encoding='utf-8-sig'，二进制模式读取会包含BOM字节，此时哈希计算需保留原始字节，不要手动去除。

内容的提问来源于stack exchange，提问作者armaka