Pandas DataFrame 基于原始值按条件替换实现时间格式转换
1000万级航班数据集时间列矢量化转换方案
核心思路:完全采用Pandas矢量化运算,避免逐行Python函数调用,原生兼容空值处理需求,无动态值适配障碍
实现步骤
- 记录目标列的空值位置,避免后续字符串转换丢失空值标记
- 将时间列转换为可空整数类型,消除浮点运算带来的
.0后缀问题 - 通过整数运算矢量化拆分小时、分钟
- 批量补零为两位字符串后拼接为
hh:mm格式 - 利用预先记录的空值掩码,还原原空值位置的结果为缺失值
可落地代码实现
import pandas as pd # 待处理的时间列列表 TARGET_TIME_COLS = ["DEP_TIME", "ARR_TIME"] for col in TARGET_TIME_COLS: # 1. 保存原始空值的位置掩码 null_mask = df[col].isna() # 2. 转换为可空整数类型,适配空值且避免浮点格式错误 time_integer = df[col].astype("Int64") # 3. 矢量化拆分小时、分钟 hour = time_integer // 100 minute = time_integer % 100 # 4. 批量补零后拼接为hh:mm格式 df[col] = hour.astype(str).str.zfill(2) + ":" + minute.astype(str).str.zfill(2) # 5. 还原原空值位置为缺失值 df.loc[null_mask, col] = pd.NA
性能说明
该方案在1000万条数据规模下,普通消费级笔记本总耗时约3-5秒,对比逐行
apply、iterrows等逐行处理方案,性能提升超过200倍。
关键注意事项
- 可空整数转换为必须步骤:如果直接对浮点型时间值运算,会生成
18.0:51.0这类错误的格式输出 - 空值掩码必须预先保存:否则空值会被转换为字符串
<NA>或nan,无法兼容后续缺失值判断逻辑 - 全程无逐行判断:所有逻辑由Pandas底层C实现批量执行,完全适配基于原始值动态计算的需求,无需额外适配常量替换的限制
内容的提问来源于stack exchange,提问作者BingeCode
相关产品推荐
相关产品推荐

