如何在Pandas DataFrame行级别高效计算含空值的时间戳最小值

问题场景 #

现有字典dt_columns：键为需新增的DataFrame列名，值为对应需计算行级最小值的datetime列名列表；这些列的值可能是datetime64类型或None（object类型）。此前尝试bfill等方法得到错误结果，需正确高效的实现方案。

解决方案 #

使用Pandas矢量化操作直接计算行级最小值，步骤如下：

1. 统一列类型：将目标datetime列转换为标准datetime64类型，把无效值/None转为NaT（Pandas缺失时间标识）
2. 计算行级最小值：调用min(axis=1)方法，自动忽略缺失值，返回每行的最小有效datetime
3. 赋值新列：将计算结果存入对应新列

代码实现 #

import pandas as pd

# 假设已有DataFrame df，以及目标字典dt_columns
for new_col, src_cols in dt_columns.items():
    # 转换为datetime类型，无效值转为NaT
    df[src_cols] = df[src_cols].apply(pd.to_datetime, errors='coerce')
    # 计算行级最小datetime
    df[new_col] = df[src_cols].min(axis=1)

核心说明 #

• pd.to_datetime(errors='coerce')确保所有列统一为datetime类型，避免因object类型导致的比较错误
• min(axis=1)是矢量化操作，效率远高于逐行循环，且会正确忽略NaT/None，只取有效时间中的最小值
• 彻底规避bfill的逻辑错误：bfill是向后填充缺失值，并非计算当前行多列的最小值，完全不符合需求

内容的提问来源于stack exchange，提问作者spontaneous_coder