如何移除多个被追踪个体的首日24小时数据？

针对你需要排除每个标记个体首日24小时数据的需求，用Python的pandas可以轻松实现，以下是具体步骤和代码：

步骤说明 #

1. 读取并预处理数据：将时间列转为标准时间格式，确保后续时间计算准确
2. 分组计算起始时间：按个体分组，获取每个个体的最早记录时间（即标记后的首次追踪时间）
3. 筛选有效数据：保留每个个体中时间晚于起始时间24小时的记录
4. 导出处理后的数据：保存筛选后的结果用于后续分析

代码实现 #

import pandas as pd

# 读取数据（假设你的数据存储为CSV文件，若为其他格式可替换读取方法）
df = pd.read_csv('tracking_data.csv', parse_dates=['datetime'])

# 为每条记录添加对应个体的起始时间（首次追踪时间）
df['start_time'] = df.groupby('Ind')['datetime'].transform('min')

# 筛选出超出首日24小时的数据
filtered_df = df[df['datetime'] > df['start_time'] + pd.Timedelta(hours=24)]

# 删除辅助列并保存结果
filtered_df = filtered_df.drop(columns=['start_time'])
filtered_df.to_csv('filtered_tracking_data.csv', index=False)

关键细节解释 #

• parse_dates=['datetime']：读取数据时直接将datetime列转换为pandas的时间类型，避免后续手动转换的麻烦
• groupby('Ind')['datetime'].transform('min')：对每个个体分组后，计算该组的最早时间，并将这个值匹配到该个体的每一行，生成start_time辅助列
• pd.Timedelta(hours=24)：用于计算起始时间后24小时的阈值，确保准确筛选出需要保留的数据

特殊情况处理 #

• 如果你的datetime列格式不是标准的YYYY-MM-DD HH:MM:SS，可以手动指定格式转换：

  df['datetime'] = pd.to_datetime(df['datetime'], format='%Y-%m-%d %H:%M:%S')
  

• 如果个体只有首日24小时内的数据，会被完全移除，符合排除标记后非自然行为的需求
• 重复记录（如示例中同一时间的两条数据）会自动保留符合条件的条目

内容的提问来源于stack exchange，提问作者Sebastian