Debezium MongoDB连接器在MongoDB宕机后的自动恢复问题

针对你遇到的MongoDB不可用时连接器直接失败且无法自动恢复的问题，核心原因是你之前配置的是Kafka Connect全局错误处理参数，但MongoTimeoutException属于连接器连接阶段的错误，需要使用Debezium MongoDB连接器专属的连接重试配置，以及MongoDB驱动层面的重试参数，以下是具体可行的配置方案：

关键配置参数及说明 #

1. MongoDB驱动连接重试参数 #

通过mongodb.connection.前缀传递MongoDB Java驱动的配置，控制连接阶段的重试逻辑：

• mongodb.connection.maxAutoConnectRetryTime：指定驱动在放弃前尝试重新连接的最长时间（毫秒），设置为86400000（24小时）即可实现近乎永久的重试，直到MongoDB恢复
• mongodb.connection.connectTimeoutMS：单次连接请求的超时时间，建议设为30000（30秒），避免快速重试导致资源浪费
• mongodb.connection.serverSelectionTimeoutMS：驱动选择可用MongoDB服务器的超时时间，建议设为30000（30秒）
• mongodb.connection.socketTimeoutMS：Socket读写超时时间，建议设为60000（60秒）

2. Debezium连接器连接退避参数 #

Debezium自身提供的连接失败后退避重试配置，控制重试间隔的增长策略：

• mongodb.connect.backoff.initial.delay.ms：首次连接失败后的等待时间（毫秒），建议设为1000（1秒）
• mongodb.connect.backoff.max.delay.ms：重试间隔的最大值（毫秒），建议设为30000（30秒），防止间隔无限增长
• mongodb.connect.backoff.multiplier：重试间隔的倍数，设为2.0实现指数退避（比如1秒→2秒→4秒…直到达到最大延迟）

完整配置示例 #

{
  "name": "mongodb-outbox-connector",
  "config": {
    "connector.class": "io.debezium.connector.mongodb.MongoDbConnector",
    "mongodb.hosts": "mongodb://your-mongo-host:27017",
    "mongodb.name": "mongo-cluster",
    "collection.include.list": "your-db.your-collection",
    "transforms": "outbox",
    "transforms.outbox.type": "io.debezium.transforms.outbox.EventRouter",
    // MongoDB驱动连接重试配置
    "mongodb.connection.maxAutoConnectRetryTime": "86400000",
    "mongodb.connection.connectTimeoutMS": "30000",
    "mongodb.connection.serverSelectionTimeoutMS": "30000",
    "mongodb.connection.socketTimeoutMS": "60000",
    // Debezium连接退避配置
    "mongodb.connect.backoff.initial.delay.ms": "1000",
    "mongodb.connect.backoff.max.delay.ms": "30000",
    "mongodb.connect.backoff.multiplier": "2.0"
  }
}

注意事项 #

• 你之前配置的connect.max.attempts、errors.max.retries等参数属于Kafka Connect全局错误处理范畴，仅作用于数据捕获、转换阶段的错误，对MongoDB连接阶段的超时异常无效，无需保留
• 确保使用的Debezium版本支持上述参数（建议使用1.9及以上版本，参数兼容性更好）
• 若MongoDB启用了认证，需额外配置mongodb.user、mongodb.password等参数，不影响重试逻辑

内容的提问来源于stack exchange，提问作者Simon Wick