如何从pandas DataFrame中去除NaT和重复值，提取每行有效datetime值

以下方案适配你提到的「每行仅存在唯一有效值，其余为NaT或该值重复」的场景：

• 方案1：直观逻辑实现，适配所有数据类型
  逐行先过滤空值，再去重后取唯一结果：

import pandas as pd
import numpy as np

# 替换df为你的实际DataFrame变量名
valid_series = df.apply(lambda x: x.dropna().unique()[0], axis=1)

该方案逻辑清晰，不需要额外对齐索引，适合数据量不大的场景使用。

• 方案2：高性能向量化方案，适合大数据量场景
  利用stack自动过滤空值的特性，避免逐行遍历提升性能：

valid_series = df.stack().groupby(level=0).first().reindex(df.index)

stack操作会自动丢弃所有空值（含NaT），按原始行索引分组后取第一个值即为目标有效值，最后用reindex对齐原始行索引，避免个别行全为空导致结果长度不足的问题。

• 方案3：极简高性能方案
  因为每行仅存在唯一有效值，其余均为空或该值的重复，因此直接取每行的最大值/最小值即可得到有效值，完全向量化操作性能最高：

# 时间类型、数值、字符串类型均支持大小比较
valid_series = df.max(axis=1)

补充说明：如果存在NaT之外的自定义无效占位符，可先将占位符统一替换为NaN再执行上述操作，示例：df = df.replace(['无效', 'N/A'], np.nan)

内容的提问来源于stack exchange，提问作者Hasibul Jamil