Python循环读取txt文件存为列表的列表触发dead kernel如何解决

原有代码问题梳理 #

• 冗余操作：with open()上下文管理器会在代码块执行结束后自动关闭文件，额外调用f.close()属于无效操作
• 异常捕获逻辑错位：try语句放在with open()内部，仅能捕获文件读取、内容拆分阶段的异常，文件打开阶段的异常无法被捕获，会直接抛出
• 核心问题：你已确认崩溃根因是内存不足，16GB内存占用超过12GB触发OOM被系统杀死进程，和单文件读取异常无关

内存不足问题解决方案 #

场景1：无需同时持有所有文件内容 #

如果业务逻辑支持逐文件/逐小批量处理，不需要把2000多个文件的内容全部存储在内存中，直接处理完单个文件就丢弃内容，完全不堆积到全局列表：

for file_path in my_path:
    try:
        # 增加encoding和errors参数，避免特殊编码文件抛出异常
        with open(file_path, 'r', encoding='utf-8', errors='ignore') as f:
            lines = f.read().splitlines()
        # 此处替换为你自己的单文件处理逻辑，处理完成后lines会被自动回收
        process_single_file(lines)
    except Exception as e:
        print(f"处理文件{file_path}失败，错误信息：{e}")

场景2：必须同时持有所有文件内容 #

如果业务逻辑需要随机访问所有文件的内容，做以下优化降低内存占用：

1. 提前过滤内容：如果不需要完整的行字符串，读取后只保留需要的字段，不要存储整行内容
2. 用生成器代替列表：如果后续仅需遍历访问内容，不需要随机索引，改用生成器存储，几乎不占用额外内存：

def load_files(file_paths):
    for file_path in file_paths:
        try:
            with open(file_path, 'r', encoding='utf-8', errors='ignore') as f:
                yield f.read().splitlines()
        except Exception as e:
            print(f"处理文件{file_path}失败，错误信息：{e}")

# 生成器仅在遍历的时候才会加载对应文件内容，不会一次性加载所有内容到内存
my_content_generator = load_files(my_path)
for lines in my_content_generator:
    # 你的遍历处理逻辑
    do_something(lines)

3. 确实需要随机访问所有内容的话，改用磁盘存储介质，比如将内容分批写入sqlite、csv等文件，需要的时候再读取对应部分，避免全量内容堆在内存中。

手动回收内存不生效的原因与修复 #

你之前使用del和gc.collect()不生效，是因为所有文件内容的引用都被全局列表持有，仅删除临时变量不会触发回收。如果需要分批处理并持久化，参考如下写法：

import gc
batch_size = 100 # 可根据内存情况调整每批处理的文件数量
for batch_idx in range(0, len(my_path), batch_size):
    current_batch = my_path[batch_idx:batch_idx+batch_size]
    batch_content = []
    for file_path in current_batch:
        try:
            with open(file_path, 'r', encoding='utf-8', errors='ignore') as f:
                batch_content.append(f.read().splitlines())
        except Exception as e:
            print(f"处理文件{file_path}失败，错误信息：{e}")
    # 将当前批内容持久化到磁盘，替换为你自己的存储逻辑
    save_batch(batch_content, batch_idx)
    # 删除当前批的所有引用后再触发垃圾回收
    del batch_content
    gc.collect()

如果是Jupyter环境变量回收失效，可以用IPython专用的删除命令%xdel 变量名代替普通del，会同时清理变量关联的所有输出缓存引用。

内容的提问来源于stack exchange，提问作者haven