如何移除首个完整分钟前的秒级数据并按ID按分钟聚合加速度计数据

看起来你需要处理多参与者的秒级加速度数据，核心需求是按ID独立处理，移除首尾非完整分钟的秒级数据，再按整分钟计算平均值。下面我用Python的pandas库来给出两种可行的方案，你可以根据实际情况选择：

方案一：先过滤首尾非完整分钟，再聚合 #

这个方案严格匹配你的需求，先剔除每个ID对应的首尾不完整分钟的行，只保留所有完整分钟的秒级数据，再进行平均计算。

步骤分解： #

• 数据预处理：将Timestamp列转换为datetime类型，确保能进行时间维度的操作；
• 按ID分组：对每个ID的时间序列单独处理，保证各参与者的数据逻辑独立；
• 确定完整分钟范围：
  1. 提取每条数据的分钟级时间戳（比如2017-03-15 10:30:00取整为2017-03-15 10:30）；
  2. 统计每个分钟分组的记录数，筛选出记录数为60的完整分钟（默认每秒一条数据）；
  3. 锁定该ID的有效时间区间：从第一个完整分钟的00秒开始，到最后一个完整分钟的59秒结束；
• 过滤+聚合：保留有效区间内的数据，再按ID+分钟分组计算加速度平均值。

代码示例： #

import pandas as pd

# 假设你的数据已读取为DataFrame，列名是['ID', 'Timestamp', 'Acceleration']
df['Timestamp'] = pd.to_datetime(df['Timestamp'])

# 定义单个ID的处理逻辑
def process_single_id(group):
    # 生成分钟级时间戳用于分组统计
    group['minute'] = group['Timestamp'].dt.floor('min')
    # 统计每个分钟的记录数量
    minute_record_counts = group.groupby('minute')['Timestamp'].count()
    # 筛选出记录数为60的完整分钟
    valid_minutes = minute_record_counts[minute_record_counts == 60].index
    
    if len(valid_minutes) == 0:
        # 若该ID无完整分钟数据，返回空表
        return pd.DataFrame()
    
    # 确定有效时间范围的起止点
    start_time = valid_minutes[0]
    end_time = valid_minutes[-1] + pd.Timedelta(minutes=1) - pd.Timedelta(seconds=1)
    
    # 过滤出有效时间范围内的数据
    filtered_data = group[(group['Timestamp'] >= start_time) & (group['Timestamp'] <= end_time)]
    
    # 按ID和分钟计算平均加速度
    aggregated_data = filtered_data.groupby(['ID', 'minute'])['Acceleration'].mean().reset_index()
    aggregated_data.rename(columns={'minute': 'Minute_Timestamp', 'Acceleration': 'Avg_Acceleration'}, inplace=True)
    return aggregated_data

# 应用分组处理逻辑到所有ID
final_result = df.groupby('ID').apply(process_single_id).reset_index(drop=True)

方案二：直接聚合后过滤非完整分钟（更简便） #

如果你的数据仅首尾分钟不完整，中间所有分钟都是60条完整记录，也可以跳过删除行的步骤，直接先聚合再过滤：

代码示例： #

import pandas as pd

df['Timestamp'] = pd.to_datetime(df['Timestamp'])
# 生成分钟级时间戳
df['minute'] = df['Timestamp'].dt.floor('min')

# 同时计算平均值和对应分钟的记录数
aggregated_temp = df.groupby(['ID', 'minute']).agg(
    Avg_Acceleration=('Acceleration', 'mean'),
    Record_Count=('Acceleration', 'count')
).reset_index()

# 过滤掉记录数不足60的非完整分钟
final_result = aggregated_temp[aggregated_temp['Record_Count'] == 60].drop(columns=['Record_Count'])

注意事项： #

• 如果数据存在中间分钟的秒级数据缺失（比如某一秒数据丢失），方案二会误删这些原本应该保留的分钟；此时方案一更稳妥，它仅剔除首尾的非完整分钟；
• 转换Timestamp时，如果数据格式固定，可以用pd.to_datetime(df['Timestamp'], format='%Y-%m-%d %H:%M:%S')指定格式，提升处理效率。

内容的提问来源于stack exchange，提问作者Andy