Debezium与Postgres断开连接后无法重连问题求助

问题现象 #

当源Postgres数据库重启导致连接断开后，Debezium无法自动重连，抛出不可恢复异常，任务被终止且无法自动恢复：

WorkerSourceTask{id=inventory-connector-0} Task threw an uncaught and unrecoverable exception. Task is being killed and will not recover until manually restarted
io.debezium.DebeziumException: Couldn't obtain encoding for database

环境信息 #

• Debezium Connect镜像：quay.io/debezium/connect:2.5.1.Final
• Postgres版本：15
• 无Kubernetes或其他自动化编排机制
• 连接器配置：

{
    "name": "xx-connector",
    "config": {
        "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
        "database.hostname": "192.168.37.51",
        "plugin.name": "pgoutput",
        "database.port": "5432",
        "database.user": "debezium",
        "database.password": "debezium",
        "database.dbname": "xx",
        "schema.include.list": "xx",
        "table.include.list": "xx.x",
        "database.server.name": "xx-db3",
        "topic.prefix": "debezium.testdb",
        "snapshot.mode": "never",
        "topic.creation.enable": "true",
        "topic.creation.default.replication.factor": "1",
        "topic.creation.default.partitions": "1",
        "key.converter": "org.apache.kafka.connect.json.JsonConverter",
        "key.converter.schemas.enable": "false",
        "value.converter": "org.apache.kafka.connect.json.JsonConverter",
        "value.converter.schemas.enable": "false"
    }
}

疑问与解答 #

1. 连接器状态显示RUNNING，但任务状态为FAILED的原因 #

Kafka Connect的架构中，连接器（Connector） 是负责任务调度、配置管理的顶层组件，而任务（Task） 是实际执行数据同步的工作单元。当任务因不可恢复异常（如连接断开时初始化数据库编码失败）终止时，连接器本身不会自动停止，仍会保持RUNNING状态——它仅负责管理任务生命周期，不会因单个任务失败而终止自身。

2. 是否存在开箱即用的解决方案？ #

有两种核心配置可以实现自动恢复：

（1）配置Postgres连接器的JDBC重试参数

在连接器配置中添加以下参数，增强连接重试能力：

• database.max.retries=10：数据库连接失败后的最大重试次数（默认3）
• database.retry.delay.ms=5000：重试间隔时间（默认1000ms）
• database.connection.attempts=5：单次连接的尝试次数（默认1）
• database.connection.timeout.ms=30000：连接超时时间（默认30000ms，可根据需求调整）

（2）配置Kafka Connect Worker的任务重启策略

在Connect Worker的启动配置中添加任务自动重启规则（Docker环境可通过环境变量设置）：

CONNECT_RESTART_POLICY=on-failure
CONNECT_RESTART_POLICY_MAX_TRIES=10
CONNECT_RESTART_POLICY_BACKOFF_MS=5000

该配置会在任务失败时自动尝试重启，最大重试10次，每次间隔5秒。

3. 自定义脚本调用重启接口无效的解决方法 #

之前调用POST /connectors/XX/restart无效，是因为该接口重启的是连接器本身，但连接器状态已是RUNNING，不会触发任务重启。正确的做法是单独重启失败的任务：

• 调用任务重启接口：POST localhost:8083/connectors/XX/tasks/0/restart（其中0是任务ID，对应状态中的id=0）
• 脚本中需先检查任务状态，当任务为FAILED时，调用上述任务重启接口而非连接器重启接口

如果任务仍无法恢复，可尝试先停止连接器再启动：

POST localhost:8083/connectors/XX/stop
POST localhost:8083/connectors/XX/start

内容的提问来源于stack exchange，提问作者Tomas F.