Python函数中文件写入的运行时影响及与列表排序的耗时对比
写入操作对运行时的影响
- 文件写入属于磁盘I/O操作,速度比内存运算低2~3个数量级,会成为明显的耗时点:尤其是机械硬盘场景下,随机写性能极差,即使是固态硬盘顺序写,速度也远低于内存读写。
- 现有代码逐行调用
f.write,会产生多次函数调用开销,同时频繁触发用户态与内核态的切换,虽然Python文件对象默认自带缓冲区减少实际磁盘刷写次数,但相比批量写入仍有额外损耗。 - 写入耗时和列表条目数呈线性正相关,列表规模越大,写入占用的总时长越高。
- 额外说明:你代码中使用了
with上下文管理器管理文件句柄,退出with块时会自动关闭文件,末尾的f.close()是冗余代码,可以直接删除。
写入耗时与排序耗时的对比
大部分常规场景下,文件写入耗时都会高于排序耗时,占总运行时间的主要部分,仅少数特殊场景下排序耗时更高:
- 小列表场景(万条以内):排序的
O(nlogn)计算开销极低,几乎可以忽略,90%以上的运行时间都会被I/O操作占用。 - 大列表场景(百万条及以上):排序耗时会随规模上升,但纯内存排序的运算速度仍然远快于磁盘写入,多数时候写入耗时仍高于排序,除非你的排序key涉及复杂计算(比如元素是大对象、key需要实时做哈希/字符串匹配等 heavy 操作),才会出现排序耗时反超的情况。
优化建议
如果要降低写入耗时,可以做如下调整:
- 提前把所有条目拼接为一个完整的大字符串,再一次性写入文件,减少
write调用次数:
def sort_and_readToFile(lst): address = r"...\prospect\sortedSamples" lst.sort(key=lambda x: (x[0],x[3])) content = '\n'.join(f"{item[0]},{item[1]},{item[2]},{item[3]}" for item in lst) with open(address, "w") as f: f.write(content + '\n')
- 数据量特别大的场景,也可以直接用Python内置的
csv模块写入,内部做了性能优化,比手动逐行拼接写入效率更高。
内容的提问来源于stack exchange,提问作者javaMan
相关产品推荐
相关产品推荐

