如何解决DataFrame日期筛选时区感知与无时区对象的比较错误？

问题场景 #

你的DataFrame中date列数据类型为datetime64[ns, UTC-05:00]（带时区信息），示例数据如下：

2022-09-08 09:00:00-05
2022-09-08 12:00:00-05
2022-09-08 15:00:00-05
2022-09-08 18:00:00-05
2022-09-09 09:00:00-05
2022-09-09 12:00:00-05
2022-09-09 15:00:00-05
2022-09-09 18:00:00-05
2022-09-10 09:00:00-05
2022-09-10 12:00:00-05
2022-09-10 15:00:00-05

尝试通过以下代码筛选最近14天数据时触发错误：

data_df = pd.DataFrame(data=data, columns=columns)
end_date = pd.to_datetime(data_df['date'].max().date())
start_date = pd.to_datetime(end_date - timedelta(days=14))
mask = (data_df['date'] > start_date) & (data_df['date'] <= end_date)
filtered_df = data_df.loc[mask]

错误信息：

TypeError: Cannot compare tz-naive and tz-aware datetime-like objects
TypeError: Invalid comparison between dtype=datetime64[ns, UTC-05:00] and Timestamp

错误原因 #

data_df['date']是带时区（UTC-05:00）的datetime对象，而通过pd.to_datetime(date_obj.date())生成的end_date和start_date是无时区（tz-naive）的Timestamp，Pandas不允许这两种类型直接比较。

修复方案 #

方式一：给无时区日期添加对应时区（推荐） #

保留原列时区信息，将生成的起止日期转换为同时区的datetime对象：

from datetime import timedelta
import pandas as pd

data_df = pd.DataFrame(data=data, columns=columns)
# 获取原列的时区信息
tz = data_df['date'].dt.tz
# 生成带时区的end_date：取最大值的日期部分，再绑定时区
end_date = pd.to_datetime(data_df['date'].max().date()).tz_localize(tz)
# 生成带时区的start_date
start_date = end_date - timedelta(days=14)
# 正常执行比较筛选
mask = (data_df['date'] > start_date) & (data_df['date'] <= end_date)
filtered_df = data_df.loc[mask]

方式二：移除原列的时区信息（业务允许时使用） #

如果时区信息对业务逻辑无影响，可将原date列转换为无时区类型后再比较：

from datetime import timedelta
import pandas as pd

data_df = pd.DataFrame(data=data, columns=columns)
# 移除原列的时区信息
data_df['date'] = data_df['date'].dt.tz_localize(None)
# 后续逻辑保持不变
end_date = pd.to_datetime(data_df['date'].max().date())
start_date = pd.to_datetime(end_date - timedelta(days=14))
mask = (data_df['date'] > start_date) & (data_df['date'] <= end_date)
filtered_df = data_df.loc[mask]

注意事项 #

• 优先选择方式一，移除时区可能导致时间语义偏差，需确认业务场景允许。
• 使用tz_localize()时，要确保传入的时区与原列完全一致，避免时间偏移问题。

内容的提问来源于stack exchange，提问作者SamSepiol