You need to enable JavaScript to run this app. Python函数中文件写入的运行时影响及与列表排序的耗时对比
优惠活动
大模型
产品
解决方案
定价
更多

Python函数中文件写入的运行时影响及与列表排序的耗时对比

写入操作对运行时的影响

  • 文件写入属于磁盘I/O操作,速度比内存运算低2~3个数量级,会成为明显的耗时点:尤其是机械硬盘场景下,随机写性能极差,即使是固态硬盘顺序写,速度也远低于内存读写。
  • 现有代码逐行调用f.write,会产生多次函数调用开销,同时频繁触发用户态与内核态的切换,虽然Python文件对象默认自带缓冲区减少实际磁盘刷写次数,但相比批量写入仍有额外损耗。
  • 写入耗时和列表条目数呈线性正相关,列表规模越大,写入占用的总时长越高。
  • 额外说明:你代码中使用了with上下文管理器管理文件句柄,退出with块时会自动关闭文件,末尾的f.close()是冗余代码,可以直接删除。

写入耗时与排序耗时的对比

大部分常规场景下,文件写入耗时都会高于排序耗时,占总运行时间的主要部分,仅少数特殊场景下排序耗时更高:

  • 小列表场景(万条以内):排序的O(nlogn)计算开销极低,几乎可以忽略,90%以上的运行时间都会被I/O操作占用。
  • 大列表场景(百万条及以上):排序耗时会随规模上升,但纯内存排序的运算速度仍然远快于磁盘写入,多数时候写入耗时仍高于排序,除非你的排序key涉及复杂计算(比如元素是大对象、key需要实时做哈希/字符串匹配等 heavy 操作),才会出现排序耗时反超的情况。

优化建议

如果要降低写入耗时,可以做如下调整:

  1. 提前把所有条目拼接为一个完整的大字符串,再一次性写入文件,减少write调用次数:
def sort_and_readToFile(lst):
    address = r"...\prospect\sortedSamples"
    lst.sort(key=lambda x: (x[0],x[3]))
    content = '\n'.join(f"{item[0]},{item[1]},{item[2]},{item[3]}" for item in lst)
    with open(address, "w") as f:
        f.write(content + '\n')
  1. 数据量特别大的场景,也可以直接用Python内置的csv模块写入,内部做了性能优化,比手动逐行拼接写入效率更高。

内容的提问来源于stack exchange,提问作者javaMan

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.18 04:45:08