MongoDB Java Rx驱动迁移至reactive streams驱动高负载性能下降排查

• 集群级与连接池级等待队列配置冲突：当前配置中clusterSettings的maxWaitQueueSize为500，connectionPoolSettings的maxWaitQueueSize为50000，v1.13.x版本的reactivestreams驱动会优先采用集群级别的队列阈值作为全局限流规则，高并发下集群级队列会先被打满，请求无法进入连接池队列就被拒绝。单实例1.6k并发时总请求量未达到集群队列阈值，所以无明显差异，多实例总并发上来后阈值快速触顶，直接导致大量请求失败。
• 连接池冷启动开销被放大：连接池minSize配置为0，无常驻连接，高负载下连接销毁、重建的开销会被成倍放大，搭配100的maxSize配置，10万并发场景下连接复用率极低，频繁的TCP握手、权限校验操作会大幅拖慢请求响应速度。
• 默认背压策略不匹配高并发场景：mongodb-driver-reactivestreams默认背压策略为BUFFER，旧rx驱动默认策略为DROP，高并发下大量请求积压在内存缓冲区，导致GC频率飙升、线程上下文切换开销激增，整体响应时间被直接拉长。
• 节点选择器探测开销过高：当前使用的LatencyMinimizingServerSelector配置的可接受延迟差为15ms，每次请求都需要做全节点延迟探测，单实例低并发时开销可忽略，多实例总请求量上来后，探测操作的CPU占比会大幅提升，挤占正常请求的处理资源。

• 统一队列配置：删除clusterSettings中的maxWaitQueueSize配置，或调整为和连接池级配置一致的50000，避免多级限流导致的提前拒绝问题。
• 优化连接池参数：将minSize调整为maxSize的30%_{50%，同时可以将`maxSize`上调到200}300，减少连接重建开销，提升高并发下的连接复用率。
• 调整背压策略：显式配置驱动背压策略为DROP，或缩小RxJava全局背压缓冲区大小，避免无限制的请求积压占用系统资源。
• 降低节点探测频率：将LatencyMinimizingServerSelector的acceptableLatencyDifference调整到50ms~100ms，减少不必要的节点延迟探测开销。
• 校验订阅逻辑：检查所有数据库操作的Publisher订阅、销毁逻辑，reactivestreams驱动的连接释放依赖订阅的终止信号，未正确处理的订阅会导致连接泄漏，高负载下很快会占满整个连接池。

内容的提问来源于stack exchange，提问作者mlkammer