处理DataFrame中永久债券的超范围到期日期问题

嗨，这个问题我之前帮不少同行解决过——pandas的时间戳确实有硬上限，9999年的日期直接转成datetime类型肯定会触发那个“超出范围”的报错。下面给你几个最优处理方案，你可以根据自己的业务需求来选：

这种方法不会丢失“永久债券”的核心业务信息，比直接替换成最大时间戳更严谨：

• 思路是先识别出所有标记为'31-12-9999 12:00:00 AM'的记录，给它们打个“永久债券”的标签，同时把这些异常日期转成pandas的缺失时间值pd.NaT（方便后续时间运算）
• 单日期列处理代码：

# 先给永久债券打标记
df['is_perpetual'] = df['maturity_date'] == '31-12-9999 12:00:00 AM'
# 替换异常日期为NaT，再转成datetime类型
df['maturity_date'] = pd.to_datetime(
    df['maturity_date'].where(df['is_perpetual'] == False),
    errors='coerce'
)

• 批量处理所有日期列（比如你的DataFrame里有到期日、发行日等多个日期列）：

# 先筛选所有带date的列（可以根据你的实际列名调整匹配规则）
date_columns = [col for col in df.columns if 'date' in col.lower()]

for col in date_columns:
    # 给每个日期列单独加永久标记
    df[f'is_perpetual_{col}'] = df[col] == '31-12-9999 12:00:00 AM'
    # 替换异常值并转datetime
    df[col] = pd.to_datetime(
        df[col].where(df[f'is_perpetual_{col}'] == False),
        errors='coerce'
    )

如果你的业务逻辑不需要区分永久债券，只是需要日期列能正常转成datetime类型，可以直接把9999年的日期替换成pandas支持的最大时间戳：

• 单列处理代码：

# 先把最大时间戳转成和原日期字符串一致的格式
max_date_str = pd.Timestamp.max.strftime('%d-%m-%Y %I:%M:%S %p')
# 替换异常日期
df['maturity_date'] = df['maturity_date'].replace(
    '31-12-9999 12:00:00 AM',
    max_date_str
)
# 转成datetime类型
df['maturity_date'] = pd.to_datetime(df['maturity_date'])

• 批量处理所有日期列：

max_date_str = pd.Timestamp.max.strftime('%d-%m-%Y %I:%M:%S %p')
date_columns = [col for col in df.columns if 'date' in col.lower()]

for col in date_columns:
    df[col] = df[col].replace('31-12-9999 12:00:00 AM', max_date_str)
    df[col] = pd.to_datetime(df[col], errors='coerce')

如果你的分析不需要对日期做任何时间运算，只是用来展示，可以把日期列保留为字符串类型，把永久债券的日期转成更易读的文本：

def format_date(date_str):
    if date_str == '31-12-9999 12:00:00 AM':
        return '永久债券'
    try:
        # 正常日期转成更规范的格式
        return pd.to_datetime(date_str).strftime('%Y-%m-%d')
    except:
        # 其他异常日期保留原内容
        return date_str

df['maturity_date'] = df['maturity_date'].apply(format_date)

一些额外提醒 #

• 优先选方案1，因为它保留了业务信息，后续做债券分析时可以通过is_perpetual列快速筛选永久债券
• 用方案2时，一定要确保max_date_str的格式和原日期字符串完全匹配，否则替换后转datetime还是会报错
• 批量处理日期列时，筛选列的逻辑可以根据你的实际列名调整，比如如果列名是maturity_dt、issue_dt，可以把匹配规则改成'dt' in col.lower()

内容的提问来源于stack exchange，提问作者Peter Lucas