如何检查Pandas Datetime列缺失值及仪器数据时间间隔完整性？

嘿，我来帮你搞定这两个Pandas时间序列的问题，这俩需求在处理仪器采集数据时特别常见，咱们一步步拆解：

你提到用pd.date_range生成了预期的时间序列但对比卡壳，其实核心思路就是把原始数据的时间戳和预期完整序列做对比，找出差集，这里给你两种实用的方法：

方法1：直接对比时间序列（适合中小数据集） #

先把原始数据的时间列转成索引，再用isin判断哪些预期时间不在原始数据里：

import pandas as pd

# 模拟你的原始数据（故意少40条来模拟缺失）
df = pd.DataFrame({
    'timestamp': pd.date_range('2020-02-17 10:29:25', periods=1400, freq='T'),
    'sensor_value': range(1400)
})

# 生成你需要的完整时间序列（1440条，每分钟1条）
expected_timestamps = pd.date_range('2020-02-17 10:29:25', periods=1440, freq='T')

# 将原始数据的时间列设为索引（确保是DatetimeIndex类型）
df = df.set_index('timestamp')

# 找出缺失的时间戳：筛选出预期序列中不在原始索引里的项
missing_timestamps = expected_timestamps[~expected_timestamps.isin(df.index)]

# 输出结果
print(f"一共缺失{len(missing_timestamps)}个时间间隔")
print("前5个缺失的时间戳：")
print(missing_timestamps[:5])

方法2：重新索引法（高效且直观，适合大数据集） #

通过重新索引把原始数据对齐到预期序列，缺失的行自动填充NaN，再过滤出这些行就能得到缺失的时间：

# 基于预期时间序列重新索引原始DataFrame
df_full = df.reindex(expected_timestamps)

# 找出所有sensor_value为NaN的行，对应的索引就是缺失的时间戳
missing_timestamps = df_full[df_full['sensor_value'].isna()].index

print("缺失的时间戳列表：")
print(missing_timestamps)

这种方法的好处是，你还能直接看到缺失时间对应的数据缺失情况，后续补全数据也很方便。

这里要区分两种情况：如果你的列已经是datetime64类型，缺失值会以pd.NaT（Not a Time）形式存在；如果是字符串列，需要先转换成Datetime类型，转换失败的会变成NaT。

情况1：列已经是Datetime类型 #

直接用isna()就能找出所有缺失的时间值：

# 统计缺失值数量
nat_count = df['timestamp'].isna().sum()
print(f"Datetime列中共有{nat_count}个缺失值（NaT）")

# 查看具体的缺失行
missing_rows = df[df['timestamp'].isna()]
print("包含缺失时间的行：")
print(missing_rows)

情况2：列是字符串类型（先转换再检查） #

如果你的时间数据原本是字符串，先转换成Datetime类型，转换错误的会自动变成NaT：

# 将字符串列转为Datetime，errors='coerce'表示把无法转换的值设为NaT
df['timestamp'] = pd.to_datetime(df['timestamp'], errors='coerce')

# 再检查缺失值
nat_count = df['timestamp'].isna().sum()
print(f"转换后Datetime列的缺失值数量：{nat_count}")

小提醒：处理时间间隔缺失前，最好先把Datetime列的缺失值处理掉，不然这些NaT会干扰后续的时间连续性检查哦～

内容的提问来源于stack exchange，提问作者T-Rock