如何正确测量Python实现DataFrame写入CSV文件的耗时
pandas DataFrame 写入CSV的精准耗时测量方案
认知偏差澄清
- 你当前编写的代码,计时区间覆盖的是从
to_csv方法被触发、到方法执行完毕返回的全流程,并非只统计目标目录下的文件创建耗时。 - 产生“只测了文件创建时间”的错觉,核心原因是操作系统的默认写入机制:几乎所有现代操作系统都会把写入的数据先存在内存缓冲区,不会在
to_csv返回的瞬间就把所有内容写到物理磁盘上。你原代码的计时停止时,数据其实还没真正落到磁盘扇区里,整个流程因为只完成了文件创建、内容写入缓存的动作,耗时极短,很容易让人误以为自己只是测了空文件的创建开销,没有统计到实际数据写入的时间。
原代码的测量偏差来源
- 当你直接给
to_csv传入文件路径字符串时,pandas内部会自动完成打开文件、序列化CSV内容、写入缓冲区、关闭文件句柄的全流程。 - 这个自动关句柄的过程,只会触发Python层的缓冲区刷新,不会主动要求操作系统把内核缓存里的文件内容强制刷到物理磁盘,等于跳过了最后一步真正的磁盘写入环节,自然测不到完整的实际写入耗时。
精准测量真实落盘写入耗时的实现
要把“文件创建、内容序列化、内核缓存、物理磁盘写入”四个环节的所有耗时都统计到,需要手动接管文件句柄,主动触发强制刷盘动作,代码如下:
import timeit import os target_csv_path = 'D:\\DF.csv' start_time = timeit.default_timer() with open(target_csv_path, 'w', encoding='utf-8', newline='') as file_handle: # 传入已经打开的文件句柄,不让pandas自行管理文件开关 df_text.to_csv(file_handle, index=False) # 第一步:把Python运行时的用户态缓冲区内容刷新到操作系统内核 file_handle.flush() # 第二步:强制操作系统把内核缓存的文件内容写入到物理磁盘,直到落盘完成才会继续执行 os.fsync(file_handle.fileno()) total_elapsed = timeit.default_timer() - start_time print(f"完整写入总耗时: {total_elapsed:.4f} 秒")
测量注意事项
timeit.default_timer()本身是跨平台精度最高的单调计时接口,不存在计时精度不够的问题,不需要额外更换计时方法- 如果需要多次测试取平均值,每次测试前要手动删除上一次生成的CSV文件,避免磁盘缓存预热导致测试结果偏快失真
- 计时区间不要包含无关的初始化、打印日志的代码,尽量让区间只覆盖写入相关的核心操作
内容的提问来源于stack exchange,提问作者Alex MAthew
相关产品推荐
相关产品推荐

