Pandas日期转换后筛选报错：TypeError问题排查与解决

问题根源 #

报错TypeError: '>=' not supported between instances of 'datetime.datetime' and 'str'的核心原因是比较操作两边类型不统一：尽管你用pd.to_datetime()转换了列，但Python无法直接将datetime对象与字符串进行比较。此外需确认日期列是否完全转换为datetime64[ns]类型——若转换不彻底，列中混存字符串与NaT也会触发类型错误。

分步解决 #

1. 确保日期列转换生效并验证类型

执行转换后，先检查列的数据类型，确认是datetime64[ns]：

df['datePublished'] = pd.to_datetime(df['datePublished'], errors="coerce")
# 验证转换结果
print(df['datePublished'].dtype)  # 预期输出：datetime64[ns]

如果类型不符，说明原日期格式存在特殊情况，可通过format参数指定格式强制转换（比如原日期是YYYY/MM/DD HH:MM:SS）：

df['datePublished'] = pd.to_datetime(df['datePublished'], errors="coerce", format="%Y/%m/%d %H:%M:%S")

2. 统一比较两边的类型

将比较的基准日期转换为datetime对象或pd.Timestamp，避免字符串与datetime直接比较：

# 方法1：转换基准日期为datetime
cutoff_date = pd.to_datetime('2022-01-01')
df_1 = df[df['datePublished'] >= cutoff_date]

# 方法2：直接使用pd.Timestamp
df_1 = df[df['datePublished'] >= pd.Timestamp('2022-01-01')]

3. 过滤无效的NaT值（可选）

如果需要排除转换后产生的NaT（无效日期），可以在筛选条件中加入非空判断：

df_1 = df[(df['datePublished'] >= pd.Timestamp('2022-01-01')) & df['datePublished'].notna()]

完整示例 #

import pandas as pd

# 模拟含无效日期的数据集
df = pd.DataFrame({
    'datePublished': ['2021-11-20', '2022-03-15', '2022/05/01', 'invalid', '2023-09-30']
})

# 转换日期列，强制处理无效值
df['datePublished'] = pd.to_datetime(df['datePublished'], errors="coerce")

# 筛选2022年及以后的有效日期
cutoff = pd.Timestamp('2022-01-01')
df_filtered = df[(df['datePublished'] >= cutoff) & df['datePublished'].notna()]

print(df_filtered)

内容的提问来源于stack exchange，提问作者Rahul