如何实时跟踪自由下落的小型快速石块？DeepSort跟踪问题求解

1. 实现正常速度视频下的跟踪运行 #

正常速度下DeepSort失效的核心原因是石块帧间垂直位移过大，超出了默认算法的运动匹配容错范围，可直接调整以下参数解决：

• 修改卡尔曼滤波运动模型：将默认的匀速运动假设改为适配自由下落的匀加速运动模型，同步调大位置预测的协方差系数，放大预测框的容错范围，适配大位移场景
• 调整IOU匹配阈值：将默认的0.7 IOU匹配阈值下调至0.3~0.5区间，允许帧间框重合度较低的场景下完成匹配
• 调整匹配优先级：将默认的外观特征优先匹配改为IOU优先匹配，外观特征仅作为二次校验补充，你的场景下运动规律的可靠性远高于外观特征

2. 解决ID切换、ID重复问题 #

可通过规则约束+算法优化组合解决：

• 新增轨迹合法性校验：石块为垂直下落，无水平方向大幅突变，新增规则：匹配后对应ID的水平位移超过单块石块宽度1/2时，直接判定为匹配失败，不更新轨迹
• 调整特征匹配权重：外观特征余弦距离超过0.3的目标，即使IOU匹配成功也不做关联，避免不同目标串ID
• 优化ID生命周期规则：新检测目标需连续3帧匹配成功才分配新ID，避免误检生成无效ID；已存在的ID需连续2帧未匹配到才注销，减少漏检导致的ID切换
• 成本最低的优化方案是直接替换为ByteTrack算法，该算法不需要外观特征提取，纯靠检测框+运动模型匹配，速度比DeepSort高3倍以上，对高帧率、运动规律固定的场景适配性极强，ID错误问题会大幅减少。

3. 特征提取权重的选择 #

你当前使用的行人预训练权重完全不适配石块场景，提取的特征没有区分度，是慢放后依然串ID的核心原因：

• 如果你坚持使用DeepSort，必须在自有石块数据集上重新训练特征提取部分，仅需准备1000张左右裁剪后的石块截图即可完成训练，训练后特征区分度会明显提升
• 如果你更换为ByteTrack，完全不需要额外训练特征提取模型，仅调整匹配阈值即可使用，开发成本更低，也更符合你实时跟踪的需求。

内容的提问来源于stack exchange，提问作者Yasser Jaber