Pandas混合格式时间索引转换与排序报错问题求助

DataFrame的索引包含两种时间字符串格式：%Y-%m-%d %H:%M:%S.%f（带微秒）和%Y-%m-%d %H:%M:%S（无微秒），执行相关操作时触发三类报错：

• 执行df.index = pd.to_datetime(df.index)触发ValueError：部分时间格式不匹配
• 执行df.index = df.index.strftime('%Y-%m-%d %H:%M:%S.%f')触发AttributeError：'Index'对象无'strftime'属性
• 执行df.sort_index()触发TypeError：无法比较Timestamp与str类型

复现代码 #

import pandas as pd

# 索引包含混合时间格式的示例DataFrame
data = {
    'final_lowerband': [None, None, None, 6698.0, 6698.0, 6698.0],
    'final_upperband': [None, None, None, None, None, None],
}
index = [
    '2024-07-12 20:38:59.667000',
    '2024-07-12 19:38:59.957000',
    '2024-07-12 19:36:59.897000',
    '2024-07-12 19:13:59.870000',
    '2024-07-12 18:15:59',
    '2024-07-12 21:35:00',
]
df = pd.DataFrame(data, index=index)

# 转换索引为DatetimeIndex
df.index = pd.to_datetime(df.index)

# 转换索引为指定格式
df.index = df.index.strftime('%Y-%m-%d %H:%M:%S.%f')

# 显示处理后的DataFrame
print(df)

报错详情 #

ERROR 1 #

ValueError: time data "2024-07-12 18:15:59" doesn't match format "%Y-%m-%d %H:%M:%S.%f", at position 4. You might want to try:
    - passing `format` if your strings have a consistent format;
    - passing `format='ISO8601'` if your strings are all ISO8601 but not necessarily in exactly the same format;
    - passing `format='mixed'`, and the format will be inferred for each element individually. You might want to use `dayfirst` alongside this.

ERROR 2 #

AttributeError: 'Index' object has no attribute 'strftime'

ERROR 3 #

TypeError: '<' not supported between instances of 'Timestamp' and 'str'

期望输出 #

Timestamp             final_lowerband   final_upperband
2024-07-12 18:15:59         6698.0  NaN
2024-07-12 19:13:59         6698.0  NaN     
2024-07-12 19:36:59          NaN    NaN
2024-07-12 19:38:59          NaN    NaN
2024-07-12 20:38:59          NaN    NaN
2024-07-12 21:35:00         6698.0  NaN

解决方案 #

报错原因分析 #

1. ValueError：pd.to_datetime默认尝试用统一格式解析所有字符串，遇到无微秒的时间时，无法匹配带微秒的格式模板，导致解析失败。
2. AttributeError：旧版本Pandas中DatetimeIndex无直接strftime方法，需转为Series后调用；新版本已支持该方法，但原代码在转换前未成功生成DatetimeIndex，仍会报错。
3. TypeError：索引同时存在Timestamp对象和字符串时，两种类型无法直接比较，排序逻辑失效。

修正后的代码 #

import pandas as pd

data = {
    'final_lowerband': [None, None, None, 6698.0, 6698.0, 6698.0],
    'final_upperband': [None, None, None, None, None, None],
}
index = [
    '2024-07-12 20:38:59.667000',
    '2024-07-12 19:38:59.957000',
    '2024-07-12 19:36:59.897000',
    '2024-07-12 19:13:59.870000',
    '2024-07-12 18:15:59',
    '2024-07-12 21:35:00',
]
df = pd.DataFrame(data, index=index)

# 1. 使用format='mixed'自动推断每个元素的时间格式，转换为DatetimeIndex
df.index = pd.to_datetime(df.index, format='mixed')

# 2. 对时间索引进行排序
df = df.sort_index()

# 3. 将索引转换为期望的无微秒字符串格式
# 若Pandas版本<2.0，改用pd.Series(df.index).dt.strftime('%Y-%m-%d %H:%M:%S')
df.index = df.index.strftime('%Y-%m-%d %H:%M:%S')

# 重命名索引列
df.index.name = 'Timestamp'

print(df)

关键说明 #

• format='mixed'参数让pd.to_datetime逐个推断每个时间字符串的格式，完美兼容带/不带微秒的两种格式。
• 先转换为DatetimeIndex再排序，确保时间比较逻辑正确。
• 新版本Pandas已支持DatetimeIndex.strftime()，若使用旧版本，需将索引转为Series后调用dt.strftime()方法。

内容的提问来源于stack exchange，提问作者Divyank