大型SFU音视频会议Top N响度音频包转发决策方案问询

你提到的基于瞬时RMS选Top N的三个问题是行业内的共性问题，把Jitsi的DominantSpeaker识别逻辑拓展到Top N场景是完全可行的，不需要从零设计算法，具体可落地的决策逻辑如下：

一、替换瞬时RMS为时间加权的活跃度评分，从排序根源过滤异常值 #

不要用单音频包的瞬时RMS作为排序依据，从三个维度重构每个参会者的音频活跃度得分：

• 为每个用户维护长度800ms-1200ms的滑动时间窗口，窗口内的音频功率按时间新旧做加权计算：最新200ms内的功率权重占60%，200-600ms区间功率权重占30%，600ms以上的历史功率权重占10%。毫秒级的噪声、旁语尖峰就算瞬时功率拉满，在整个窗口的加权得分也不会冲到前列，直接解决瞬时尖峰挤掉正常发言者的问题。
• 为每个用户独立维护本底噪声基线：每3-5秒重新计算一次该用户麦克风的环境底噪均值，最终活跃度得分为「窗口加权功率 - 自身本底噪声基线」。长期处于嘈杂环境但没有实际发言的用户，音频功率和自身底噪差值始终很小，就算绝对音量高也拿不到高得分，从根源解决嘈杂用户长期占坑的问题。
• 得分计算时额外加*语音活动检测（VAD）*标记过滤：如果音频包被VAD判定为非人声，直接给该包的功率打2折计入窗口，进一步过滤非人声噪声的影响。

二、加双阈值+驻留保护的防抖机制，解决列表频繁切换问题 #

完全抛弃“得分高就立刻进、得分低就立刻出”的硬排序逻辑，给Top N列表加进出缓冲规则：

• 设置不对称进出阈值：非列表内用户的活跃度得分，需要持续超过当前列表最后一名得分20%以上、且持续时长满150ms，才能进入替换候选池；列表内用户的活跃度得分，需要持续低于候选池第一名得分30%以上、且持续时长达300ms，才允许被替换。
• 给列表内用户加最短驻留保护：用户进入Top N列表后，至少保留800ms的转发资格，除非用户主动闭麦、音频流中断，否则哪怕短时间得分被超过也不会被立刻踢出，避免正常发言被打断。
• 限制单次替换数量：每次列表更新最多只替换1个席位，禁止批量切换成员，就算同时有多个非列表用户得分达标，也按得分达标的时间先后逐次替换，避免多路音频突然切换引发的听觉混乱。

三、Jitsi DominantSpeaker算法的Top N拓展方法 #

Jitsi原有的主导发言者算法核心是基于时间迭代的相对能量对比、三态发言状态机（活跃/即将静默/静默），本身已经做了尖峰过滤和防抖，拓展到Top N场景不需要推翻原有逻辑，只需要做两处调整：

• 把原算法中单点存储的主导发言者标记，替换成长度为N的有序活跃发言者队列，队列内每个成员独立维护自己的发言状态机。
• 原算法中仅拿当前主导发言者作为能量对比基准，调整为拿队列内排名最后一位的成员作为对比基准，和所有非队列用户做能量差计算、状态流转判断即可，整体计算量和原Top 1算法差距极小，100人规模下CPU开销可以忽略。

四、规模化场景的额外优化 #

• 做两层筛选降低计算量：每次计算得分后先粗筛出前2N名用户作为候选池，后续的防抖判断、状态机流转只在候选池范围内做，不需要每次全量遍历所有参会者。
• 加固定席位规则：主持人、联席主持人等角色只要未闭麦，默认占用固定转发席位，不参与排序淘汰，避免关键发言被过滤。
• 加静默淘汰规则：如果列表内用户连续10秒以上的活跃度得分，始终低于「自身底噪+10dB」的有效发言阈值，直接触发静默淘汰，不需要等其他用户触发替换，避免无效占坑。
• 合理设置N的取值：一般会议场景下N取3-5即可，人耳最多同时分辨3-4路不同的人声，取值过高既提升带宽成本，也会让收听端出现混音混乱。

内容的提问来源于stack exchange，提问作者Nafiul Alam Fuji