Python计数数据处理:将事件数据集转为无缺口计数时间序列
Python 高效实现刑事攻击事件连续计数时间序列转换
源数据特征与转换目标
现有源数据集为两列结构,包含日期、事件两个字段,原始数据存在天然日期断档:例如2019/02/01共有3条记录(含空事件记录)、2019/02/03共有1条事件记录,中间缺失2019/02/02的条目。
需要完成的转换要求:
- 输出表的日期列完全连续,从数据集覆盖的最早日期到最晚日期无跳转断点
- 第二列对应每个日期的事件计数,当日无任何记录的日期计数补0,参考转换样例:2019/02/01对应计数3、2019/02/02对应计数0、2019/02/03对应计数1
最优高效实现方案
基于pandas矢量化操作实现,相比循环遍历的手写逻辑,处理十万级以上规模的事件数据时性能提升显著,且无拼接错配风险:
- 导入依赖库
import pandas as pd - 读取原始数据集,直接将
日期字段解析为标准datetime格式# 替换为实际的数据集存储路径 df_raw = pd.read_csv("criminal_attack_records.csv", parse_dates=["日期"]) - 按日期分组统计当日记录总数
注意此处用size()而非count(),因为size()会统计分组下的全部记录(包括事件字段为空的条目),匹配“空事件也计入当日总数”的规则;如果误用count()会自动过滤空事件行,导致计数结果偏低daily_event_count = df_raw.groupby("日期").size() - 生成覆盖全周期的连续日期索引
# 构造从最早日期到最晚日期的逐日连续范围 continuous_dates = pd.date_range( start=daily_event_count.index.min(), end=daily_event_count.index.max(), freq="D" ) - 将统计结果对齐到连续日期索引,缺失日期自动补0
# 索引对齐后,缺失的日期记录自动填充0值,最终得到标准计数时间序列 final_series = daily_event_count.reindex(continuous_dates, fill_value=0).rename("事件数")
输出结果示例:
- 2019-02-01:3
- 2019-02-02:0
- 2019-02-03:1
内容的提问来源于stack exchange,提问作者pietrosan
相关产品推荐
相关产品推荐

