使用Azure网关（负载均衡器）执行MLCP导入归档时的超时问题及咨询

问题背景 #

我使用ML Azure Enterprise v11.0.2搭建了一个3节点集群，在通过mlcp恢复数据库归档时遇到以下情况：

• 通过网关（负载均衡器）执行恢复时，出现超时错误（mlHost=mlcluster-prod-appgateway.australiaeast.cloudapp.azure.com），但集群中已有部分数据成功恢复；
• 直接指定单个ML VM（mlHost=mlcluster-prod-gtg45gmyxbkbw-0.australiaeast.cloudapp.azure.com）执行mlcp恢复则可成功完成。

后续尝试了fastload、restrict_hosts参数，仍存在网关超时问题；调整thread_count参数发现：设为1可正常运行，设为2结合fastload可将加载时间从600s缩短至180s。

核心问题 #

1. 何时应使用负载均衡器执行MLCP操作？
2. 可通过配置Azure网关解决该超时问题吗？

解答 #

1. 负载均衡器执行MLCP的适用场景 #

• 大规模并行操作场景：当需要利用集群多节点的并行处理能力，且mlcp操作设置了较高并发线程数时，负载均衡器能将请求均匀分发到各节点，避免单个节点过载，最大化整体吞吐量。
• 集群拓扑动态变化时：如果集群存在节点扩容、缩容或故障切换，使用负载均衡器无需手动修改mlcp的mlHost参数，自动适配集群变化，保持操作稳定性。
• 统一运维管理需求：以负载均衡器作为统一入口，便于集中配置访问控制（如防火墙、认证策略）、监控请求状态，简化mlcp操作的运维管理。

2. 通过Azure网关配置解决超时问题的可行性 #

可以通过调整Azure应用网关的以下配置尝试解决超时问题：

• 延长请求超时时间：Azure应用网关默认请求超时通常为300秒，若mlcp恢复操作耗时超过该阈值，需在网关HTTP设置中延长超时时间，匹配操作实际耗时。
• 优化连接池参数：增大后端连接池大小，避免因连接数不足导致请求排队超时；同时调整连接闲置超时时间，防止长连接被过早关闭。
• 调整会话亲和性配置：若网关会话亲和性配置不当导致请求分发不均，可尝试启用基于IP的会话亲和性，让同一mlcp进程的请求路由到同一节点（注意此设置可能降低负载均衡效果，需结合实际测试）。
• 修正健康探测规则：确保网关对MarkLogic节点的健康探测配置正确，避免误判节点不健康而中断连接，引发mlcp操作超时。

结合你调整thread_count的测试结果，建议使用网关时，将thread_count设置为兼顾性能与稳定性的数值（如你测试的2），配合fastload模式，在性能和可靠性之间取得平衡。

内容的提问来源于stack exchange，提问作者XCELERENT - I want to dance