Python中打开文件的方法有哪些？排查文件泄漏问题

DevOps 小满

2026-5-19

嘿，遇到文件泄漏确实头疼——哪怕用了with这种“自动关门”的语法，也可能有隐藏的地方在偷偷占着文件描述符。我帮你梳理下Python里所有可能打开文件的方式，再给你针对性的排查思路：

Python中所有可能打开文件的途径

这些方式里，有些是你明显在用的，有些是容易被忽略的“隐性”操作：

内置open()函数：
这是最常用的方式，你用的with open(...)属于正确的上下文管理用法，但如果是手动调用open()后没有关闭（比如f = open('file.txt')然后忘了f.close()），或者像csv.writer(open('file.csv', 'w'))这种把open()直接作为参数传入的写法，都可能导致文件对象没有被及时回收，积累成泄漏。
os.open()系统级调用：
注意这和内置open()不是一回事！os.open()是直接调用操作系统的文件打开接口，返回的是文件描述符（整数），而不是文件对象。这种情况下必须手动调用os.close(fd)来释放，GC不会自动处理。哪怕你没直接用，也要检查有没有间接调用的代码用到了这个方法——这是高频泄漏点。
标准库模块的隐性文件操作：
- csv模块：你用到了csv.writerow()，如果csv.writer是基于一个手动打开的文件对象创建的（而非with块内的对象），比如f = open('data.csv', 'w'); writer = csv.writer(f)，之后没关f，就会泄漏。
- 序列化模块（pickle/json等）：比如pickle.dump(obj, open('file.pkl', 'wb'))这种写法，虽然看似简洁，但如果发生异常，文件可能无法被正确关闭；高频率循环下，未回收的文件对象会积累。
- subprocess模块：如果在调用子进程时，把stdout/stderr指向了手动打开的文件，却没有关闭，也会占着文件描述符。
第三方库的文件操作：
如果你用到了其他第三方库（比如pandas、numpy），它们的文件导出/导入函数（比如pandas.to_csv()）如果内部处理不当，或者你手动传入了未关闭的文件对象，也可能导致泄漏。

针对你的问题的排查步骤

结合你第52次运行才出问题的情况，大概率是泄漏缓慢积累导致的，建议按以下步骤排查：

检查所有open()调用：
确保每一个open()要么在with块内，要么手动调用了close()——尤其要注意分支逻辑（比如try/except里提前return的情况）有没有遗漏关闭。
排查os.open()的使用：
搜遍代码里的os.open，确认每一个返回的文件描述符都用os.close()关闭了，哪怕是在异常情况下（可以用try/finally包裹）。
规范csv操作的写法：
确保所有csv.writer/csv.reader的创建都在with块内部，比如：
```
# 正确示例
with open('output.csv', 'w', newline='') as f:
    writer = csv.writer(f)
    writer.writerow(your_data)
```
避免直接把open()作为参数传给csv.writer，这种写法的文件对象没有被显式引用，GC回收不及时就会导致泄漏。
监控文件描述符数量：
可以用psutil库实时查看进程的文件描述符数，比如在循环里加入：
```
import psutil
print(f"当前文件描述符数量: {psutil.Process().num_fds()}")
```
这样能快速定位到哪一次循环开始数量飙升，找到对应的代码块。
检查嵌套或第三方调用：
看看with块内有没有调用其他自定义函数，这些函数内部会不会打开文件却没关闭；如果用了第三方库，确认它们的文件操作是否都正确释放了资源。

内容的提问来源于stack exchange，提问作者TobyStack