Python Pandas处理缺失时间的日期字段：语法疑问与最优实现

问题背景 #

数据清洗过程中遇到日期时间字段格式不一致的问题：字段始终包含日期，但部分记录缺失时间，示例数据如下：

3/1/2023 11:03 AM
4/8/2022 10:21 AM
7/19/2012
7/12/2021
4/16/2024 7:02 AM

需求：当字段中不包含冒号（:）时，自动拼接' 00:00 AM'补全时间。

尝试使用三元运算符的写法未生效：

dfAssetMeter_a['lastReadingDTFixed'] = dfAssetMeter_a['LASTREADINGDATE'].astype(str) if dfAssetMeter_a['LASTREADINGDATE'].astype(str).find(':') > 0 else dfAssetMeter_a['LASTREADINGDATE'].astype(str) + ' 00:00 AM'  

而通过apply结合自定义函数的方式可以实现需求：

def fixDateTime(dateStr_in):
    return dateStr_in if dateStr_in.find(':') > 0 else dateStr_in + ' 12:00 AM'

dfAssetMeter_a['lastReadingDTFixed'] = dfAssetMeter_a['LASTREADINGDATE'].apply(fixDateTime)

解答 #

1. 更符合Python/Pandas风格的实现方式 #

推荐使用矢量化操作替代apply，不仅效率更高（大数据量下优势显著），也更贴合Pandas的设计理念：

方法一：np.where 矢量化条件赋值

利用str.contains判断每个字符串是否包含冒号，配合numpy.where实现批量条件赋值：

import numpy as np

dfAssetMeter_a['lastReadingDTFixed'] = np.where(
    dfAssetMeter_a['LASTREADINGDATE'].astype(str).str.contains(':'),
    dfAssetMeter_a['LASTREADINGDATE'].astype(str),
    dfAssetMeter_a['LASTREADINGDATE'].astype(str) + ' 00:00 AM'
)

方法二：正则表达式替换

使用str.replace结合正则匹配，直接定位仅含日期的记录并补全时间：

dfAssetMeter_a['lastReadingDTFixed'] = dfAssetMeter_a['LASTREADINGDATE'].astype(str).str.replace(
    r'^(\d+\/\d+\/\d+)$', r'\1 00:00 AM', regex=True
)

简化版apply写法

如果偏好apply，可以用lambda函数简化代码，更符合Python简洁风格：

dfAssetMeter_a['lastReadingDTFixed'] = dfAssetMeter_a['LASTREADINGDATE'].astype(str).apply(
    lambda x: x if ':' in x else x + ' 00:00 AM'
)

2. 三元运算符写法的正确语法 #

你之前的写法失效原因是：Pandas Series的find方法返回的是Series对象（每个元素的查找结果），而Python原生三元运算符需要的是单个布尔值作为判断条件，无法直接处理Series级别的条件判断。

正确的三元运算符用法是针对单个元素的判断，而非整个Series。因此需要将三元逻辑放在apply的回调函数中（比如你自定义的fixDateTime函数，或者上面的lambda函数），示例：

# 单个元素的三元判断示例（在lambda中使用）
lambda x: x if ':' in x else x + ' 00:00 AM'

这里的':' in x是针对单个字符串x的条件判断，符合三元运算符表达式1 if 条件 else 表达式2的语法规则。如果要实现批量处理，必须结合apply或矢量化方法（如np.where）。

内容的提问来源于stack exchange，提问作者KBD