如何用Pandas对Datetime取整并保持1分钟间隔无重复

核心思路 #

由于你的单条数据序列时间戳围绕某一秒集中，不会同时出现跨分钟的极端偏差，无需对每个时间点单独取整——只需基于序列起始时间生成严格1分钟间隔的时间序列，既能避免重复值，又能保证时间间隔的精准性。

具体实现步骤 #

1. 将字符串格式的时间转为datetime类型（你已完成此步骤）
2. 对每条时间序列，取第一个时间点的最近整分钟作为起始基准
3. 基于起始基准生成连续的1分钟间隔时间序列，长度与原序列完全一致

代码示例（适配你的测试数据） #

import pandas as pd
import plotly.express as px

# 创建测试DataFrame
data = {'data1': ['2023-12-10T20:01:00.58Z'],
        'data2': ['2023-12-10T20:02:00.58Z'],
        'data3': ['2023-12-10T20:02:59.62Z']}

df = pd.DataFrame(data)

# 批量转换为datetime类型
for col in df.columns:
    df[col] = pd.to_datetime(df[col])

# 定义时间处理函数
def process_time_series(s):
    # 取序列第一个时间点的最近整分钟作为起始点
    start_time = s.iloc[0].round('min')
    # 生成严格1分钟间隔的时间序列
    return pd.date_range(start=start_time, periods=len(s), freq='T')

# 应用到所有时间列，生成处理后的字段
for col in df.columns:
    df[f'{col}_rounded'] = process_time_series(df[col])

# 查看处理结果
print(df)

结果说明 #

• 针对data3中2023-12-10T20:02:59.62Z这类接近下一分钟的时间点，会以其最近整分钟（2023-12-10 20:03:00+00:00）为起始，生成连续的1分钟间隔序列
• 所有处理后的时间序列无重复值，且严格保持1分钟间隔
• 由于数据序列的时间戳围绕某一秒集中，生成的序列与原时间的偏差一致，不会出现逻辑跳变

备选方案（单列多时间点场景） #

如果你的数据是单列包含多个时间戳的序列（比如存在原始间隔误差的连续数据），处理逻辑完全通用：

# 示例：单列多时间点的场景
single_series_data = {'timestamp': [
    '2023-12-10T20:01:00.42Z',
    '2023-12-10T20:01:59.78Z',
    '2023-12-10T20:03:00.15Z'  # 原始间隔存在误差
]}
df_single = pd.DataFrame(single_series_data)
df_single['timestamp'] = pd.to_datetime(df_single['timestamp'])
df_single['timestamp_rounded'] = process_time_series(df_single['timestamp'])
print(df_single)

该方案会自动修正原始时间的间隔误差，生成严格连续的1分钟时间序列。

内容的提问来源于stack exchange，提问作者xion