Pandas DateTime列按日期筛选结果异常丢失数据问题咨询

排查步骤 #

1. 验证单条数据的比较结果
   运行如下代码输出每条数据的比较状态，确认2019-03-10 23:10:00的比较返回值：

value_to_check = pd.Timestamp(2019, 3, 11)
df['compare_res'] = df['DateTime'] < value_to_check
print(df[['DateTime','compare_res']])

如果2019-03-10 23:10:00对应的compare_res为False，说明该条数据的实际时间值大于阈值，需要继续向下排查。

2. 排查时区不一致问题
   这是该类问题最常见的诱因，DateTime列大概率带有时区属性，而你创建的阈值为无时区类型，比较时发生时区偏移导致结果异常：
   首先运行代码查看时区信息：

# 查看DateTime列的时区
print(df['DateTime'].dt.tz)
# 查看阈值的时区
print(pd.Timestamp(2019,3,11).tz)

如果前者返回UTC、Asia/Shanghai等时区值，后者返回None，即可确认是时区问题。
解决方法：统一两侧的时区属性即可：

# 方案1：给阈值设置和DateTime列一致的时区
value_to_check = pd.Timestamp(2019, 3, 11, tz=df['DateTime'].dt.tz)
# 方案2：将DateTime列转为无时区的本地时间
df['DateTime'] = df['DateTime'].dt.tz_localize(None)

3. 排查返回行数限制问题
   你当前使用的df.query().tail()写法中，tail()默认返回最后5行，如果误写为tail(4)或者前面的筛选逻辑有其他过滤操作，会导致符合条件的行被截断，直接输出全部筛选结果验证：

print(df[df["DateTime"] < pd.Timestamp(2019, 3, 11)])

4. 排查时间精度或类型解析问题
   极少数情况会因为datetime的纳秒精度、query方法的字符串解析偏差导致异常，可改用日期维度比较，或者显式传入Timestamp变量避免解析问题：

# 仅比较日期部分，忽略时间
df[df['DateTime'].dt.date < pd.to_datetime('2019-03-11').date()]
# query显式传参避免字符串解析偏差
df.query(f'DateTime < @pd.Timestamp("2019-03-11")')

内容的提问来源于stack exchange，提问作者Fluxy