流式时间序列数据滑动窗口：用pandas还是deque？

问题背景 #

我有一条包含时间列的无限API日志数据流，无法将所有数据存入内存，计划逐行读取并更新数据结构，目前在优先级队列/DataFrame之间纠结，核心关注速度与扩展性。

核心需求 #

• 仅存储最近N分钟的日志数据
• 计算请求数的运行平均值
• 当平均值超过阈值T（请求/秒）时输出一次告警，回落至T以下时再次输出告警
• 时间戳不规则，需对比首尾数据时间差与N，超时时删除过期数据（可能多条）

候选方案优势对比 #

deque/队列 #

• 支持简洁的append()/popleft()操作，能快速删除头部过期数据
• 空间效率高，内存占用稳定
• 天然适配多线程场景（若后续有需求）

pandas DataFrame #

• 内置高效的滑动窗口创建与统计分析函数，统计计算更便捷

疑问 #

如何避免持续追加数据导致DataFrame过大？相关实践教程较少，目前更倾向用队列/deque来快速处理过期数据。

内容的提问来源于stack exchange，提问作者Jinx