基于光流的旋转事件相机视频背景减除方法咨询

问题1：相机旋转速度与背景光流的关联及深度信息的必要性 #

• 完全可以通过相机旋转参数建模背景光流，以此区分前景和背景。相机匀速旋转时，无穷远背景的光流可直接通过旋转角速度和相机内参推导：
  对图像像素点$(u,v)$，先转换为归一化相机坐标系点$(x,y,1)$（其中$x=(u-c_x)/f_x$，$y=(v-c_y)/f_y$，$c_x,c_y$为主点坐标，$f_x,f_y$为焦距），背景光流的像素速度计算公式为：

  u' = -ωₓuv/fₓ + ωᵧ(fₓ + u²/fₓ) + ω_z v
  v' = -ωᵧuv/fᵧ - ωₓ(fᵧ + v²/fᵧ) - ω_z u
  

  用该模型生成的背景光流与实际计算的稠密光流做残差对比，残差显著的像素即为前景（小型无人机）。
• 深度信息的需求分场景：若背景多为远场物体，仅用旋转参数建模即可满足基本区分需求；若场景存在大量近景背景，仅靠旋转模型会出现光流偏差，此时需要深度信息（如单目深度估计结果）修正背景光流模型，提升区分精度。

问题2：事件相机下的背景减除优化方案 #

事件相机输出的异步二进制事件特性，导致传统固定光流阈值法在目标低速时失效，可通过以下方法优化：

• 事件光流旋转补偿：先根据相机旋转角速度，对每个事件对应的光流分量做补偿（减去背景旋转带来的光流），剩余的残差光流即为前景运动分量，残差非零的事件大概率属于前景。
• 事件聚类+运动一致性校验：将事件按空间位置聚类，计算每个聚类的光流分布。背景事件的光流会严格符合旋转模型的分布规律，而前景聚类的光流会偏离该分布，可通过高斯混合模型等统计方法区分两类聚类。
• 动态自适应阈值：摒弃固定阈值，统计背景光流的均值与方差，对每个像素设置自适应阈值（如背景光流均值+1.5倍标准差），适配不同区域的背景光流波动，减少低速目标的漏检。
• 帧事件融合辅助：若相机支持同步帧输出，可将事件累积为伪帧，结合旋转补偿后的光流残差，增强前景区域的事件响应权重，提升前景背景的区分度。

内容的提问来源于stack exchange，提问作者bruce66623