如何处理含换行符的string,hash格式文件读写问题

核心问题分析 #

你的问题出在：字符串包含任意字符（包括换行、逗号），导致按换行分割行、按逗号分割字段的常规逻辑失效。结合你的需求（3字符固定长度字符串），有以下几种高效解决方案：

方案1：利用固定长度特性直接按块读取（性能最优） #

因为你的字符串是固定3字符长度，如果Hash的长度也是固定的（比如MD5是32位、SHA256是64位），可以直接按固定字节数读取每条记录，完全规避分隔符冲突：

读取代码示例（假设Hash为32位MD5） #

def read_data(target):
    table = []
    # 计算单条记录总长度：3字符 + 逗号(1) + 32位Hash + 换行(1)
    record_total_len = 3 + 1 + 32 + 1
    # 用二进制模式读取，避免编码转换干扰
    with open(target, "rb") as file:
        while True:
            record_bytes = file.read(record_total_len)
            if not record_bytes:
                break
            # 拆分字段：前3字节是字符串，跳过第4字节的逗号，后续32字节是Hash
            string = record_bytes[:3].decode("utf-8")  # 编码需与写入时一致
            hash_val = record_bytes[4:4+32].decode("utf-8")
            table.append(hashpair(string, hash_val))
    return table

写入对应逻辑 #

写入时直接按固定格式拼接，无需额外处理：

def write_data(target, data_pairs):
    with open(target, "wb") as file:
        for s, h in data_pairs:
            # 按格式拼接：字符串 + 逗号 + Hash + 换行
            record = f"{s},{h}\n".encode("utf-8")
            file.write(record)

方案2：用CSV模块自动处理特殊字符（通用场景） #

如果Hash长度不固定，或者需要兼容更灵活的字段格式，Python内置的csv模块可以自动处理字段内的换行、逗号等特殊字符，通过引号包裹和转义实现正确解析：

写入代码 #

import csv

def write_data(target, data_pairs):
    with open(target, "w", newline="", encoding="utf-8") as file:
        # 启用全字段引号包裹，确保特殊字符被正确转义
        writer = csv.writer(file, quoting=csv.QUOTE_ALL)
        writer.writerows(data_pairs)

读取代码 #

import csv

def read_data(target):
    table = []
    with open(target, "r", newline="", encoding="utf-8") as file:
        reader = csv.reader(file)
        for row in reader:
            # 确保每行包含字符串和Hash两个字段
            if len(row) == 2:
                string, hash_val = row
                table.append(hashpair(string, hash_val))
    return table

方案3：提前清理字符串中的换行符（实现目标2） #

如果只需要保留行尾的分隔换行，写入时直接移除字符串内的所有换行符即可：

写入代码 #

def write_data(target, data_pairs):
    with open(target, "w", encoding="utf-8") as file:
        for s, h in data_pairs:
            # 移除字符串内的换行、回车符
            cleaned_str = s.replace("\n", "").replace("\r", "")
            file.write(f"{cleaned_str},{h}\n")

修正后的读取代码（修复原代码缩进错误） #

def read_data(target):
    table = []
    with open(target, "r", encoding="utf-8") as file:
        for item in file:
            parts = item.rstrip("\n").split(",")
            if len(parts) != 2:
                continue  # 跳过异常行
            string, hash_val = parts
            table.append(hashpair(string, hash_val))
    return table

原代码的问题说明 #

1. 缩进错误：table.append和return语句在for循环外，导致最终只添加最后一条数据
2. 分割逻辑失效：当字符串含换行/逗号时，readlines()会将单条记录拆成多行，split(",")无法得到正确的字段对

内容的提问来源于stack exchange，提问作者BiFrost