Python写入大文件未触发内存溢出的原因探究

数据并未全部存储在RAM中 #

你的代码采用逐行读取、逐行写入的方式，每次仅在内存中保留一行数据，写入完成后就会释放这部分内存，不会把最终38GB的文件全部加载到物理内存里。

Windows资源管理器显示文件大小为0的原因 #

这是Windows文件系统的缓存机制导致的：

• 调用Python的write()后，数据首先进入操作系统的文件缓存（属于虚拟内存范畴，并非完全占用物理RAM），不会立刻写入磁盘。
• 只有当缓存被填满、文件关闭，或者手动调用fileout.flush()时，操作系统才会把缓存中的数据批量写入磁盘，此时资源管理器才会更新显示文件的实际大小。
• 当物理内存不足时，Windows会自动将部分缓存数据交换到硬盘上的虚拟内存（页面文件），不会导致物理内存耗尽。

未出现内存溢出的原因 #

• 你之前了解的“打开大文件需双倍RAM”，通常是指一次性将整个文件读入内存的场景（比如使用read()或readlines()方法），这种情况下内存会加载完整的文件内容。
• 而你的代码通过迭代器逐行处理文件对象，每次仅读取一行数据到内存，处理完成后就丢弃，内存占用始终维持在很低的水平，哪怕最终生成的文件体积很大，也不会触发内存溢出。

如果希望资源管理器能实时显示文件大小，可以在每次write()后添加fileout.flush()调用，但这会略微降低写入效率，因为频繁的磁盘IO操作会增加系统开销。

内容的提问来源于stack exchange，提问作者PSt