基于分隔TXT每行生成单个TXT文件的脚本优化及bug排查问询

嗨，针对你这个术语文件拆分的需求，我来分享下优化方案和行跳过问题的排查思路，直接上干货～

一、先搞定「行跳过」的排查问题 #

之前脚本出现行跳过，大概率是这几个原因，你可以逐一排查：

• 格式不规范的行：比如某行没有|分隔符、术语为空，或者描述里的|导致拆分出错——之前如果用split('|')会把描述拆成多个部分，导致后续逻辑跳过该行。
• 编码/换行符问题：原文件如果是GBK编码却用UTF-8读取，会出现乱码；Windows的CRLF换行符在某些环境下可能被误判，导致行读取不完整。
• 重复代码的逻辑bug：比如之前循环里重复做了文件打开/关闭，或者不小心用了continue跳过了正常行，比如在不该跳过的地方加了错误判断。
• 文件名非法导致写入失败：术语里有系统禁止的字符（比如Windows的\/:*?"<>|），写入时直接报错跳过，但脚本没记录错误，你以为是行被跳过了。

二、优化方案：更健壮、高效的实现 #

针对特殊字符处理、缓冲区优化和代码精简，我写了个Python示例脚本，你可以参考：

import os
import glob

# 清理文件名中的非法字符
def sanitize_filename(name):
    # 涵盖Windows和Linux的非法文件名字符
    invalid_chars = '<>:"/\\|?*'
    for char in invalid_chars:
        name = name.replace(char, '_')
    # 去除首尾空白，避免文件名是空或只有空格
    return name.strip()

# 处理单个术语文件
def process_single_file(file_path):
    skipped_records = []
    # 创建输出目录（自动创建，不存在则新建）
    output_dir = os.path.join(os.path.dirname(file_path), 'processed_terms')
    os.makedirs(output_dir, exist_ok=True)

    # 用with语句自动管理文件句柄，Python会自动优化缓冲区
    with open(file_path, 'r', encoding='utf-8') as input_file:
        # 枚举行号，方便定位问题行
        for line_num, line in enumerate(input_file, start=1):
            line = line.strip()
            # 跳过空行
            if not line:
                continue
            
            # 只分割一次，避免描述里的|破坏结构
            parts = line.split('|', maxsplit=1)
            if len(parts) != 2:
                skipped_records.append(f"第{line_num}行：缺少分隔符|，格式错误")
                continue
            
            term, description = parts
            # 清理术语作为文件名
            clean_term = sanitize_filename(term)
            if not clean_term:
                skipped_records.append(f"第{line_num}行：术语为空，无法生成文件")
                continue
            
            output_file_path = os.path.join(output_dir, f"{clean_term}.txt")
            try:
                # 写入文件，同样用with管理
                with open(output_file_path, 'w', encoding='utf-8') as output_file:
                    # 写入描述时也清理首尾空白
                    output_file.write(description.strip())
            except Exception as e:
                skipped_records.append(f"第{line_num}行：写入失败，错误信息：{str(e)}")
    
    # 打印跳过的行，方便排查
    if skipped_records:
        print(f"\n处理文件【{file_path}】时跳过以下内容：")
        for record in skipped_records:
            print(f"  - {record}")

# 批量处理所有TXT文件
def main():
    # 替换成你的术语文件所在目录
    input_dir = "./term_files"
    # 匹配所有TXT文件
    for txt_file in glob.glob(os.path.join(input_dir, "*.txt")):
        print(f"正在处理：{txt_file}")
        process_single_file(txt_file)
    print("\n所有文件处理完成！")

if __name__ == "__main__":
    main()

三、关键优化点说明 #

1. 特殊字符处理：sanitize_filename函数过滤了所有系统禁止的文件名字符，替换为下划线，避免生成文件失败。
2. 缓冲区优化：全程用with语句操作文件，Python会自动处理缓冲区的刷新和资源释放，比手动open/close更高效，也避免资源泄漏。
3. 避免行拆分错误：用split('|', maxsplit=1)只分割一次，就算描述里有|也不会破坏结构，之前的行跳过可能就是因为这个。
4. 错误排查友好：枚举行号并记录所有跳过的行，运行时直接打印问题原因，快速定位。
5. 代码精简：把单个文件处理逻辑封装成函数，避免重复代码，批量处理用glob自动匹配所有TXT文件，不用手动逐个指定。

四、额外建议 #

• 如果原文件不是UTF-8编码，把open里的encoding改成对应的编码（比如gbk），避免乱码导致行处理失败。
• 如果文件很大，可以用迭代器逐行读取（示例里就是这么做的），不用一次性读入内存，更省资源。
• 可以加个去重逻辑：如果同一个术语出现多次，要么覆盖要么跳过，或者在文件名后加序号，避免文件被覆盖。

内容的提问来源于stack exchange，提问作者pc_