Debezium独立服务器HTTP Sink故障恢复及死信存储问题咨询

针对HTTP服务器无响应导致Debezium Server崩溃的问题，可通过以下配置和部署策略实现故障恢复：

• 配置重试与退避策略
  调整HTTP Sink的重试参数，避免单次失败直接引发崩溃。示例配置：

  # 重试次数
  debezium.sink.http.retries=5
  # 重试间隔（毫秒）
  debezium.sink.http.retry.delay.ms=2000
  # 重试间隔指数退避
  debezium.sink.http.retry.backoff.multiplier=2
  

  多次重试后仍失败的消息，需通过死信队列隔离，避免阻塞整个处理流程。

• 启用死信队列（DLQ）
  开启DLQ将无法投递的消息转存，防止异常扩散导致服务器崩溃。示例配置：

  # 启用死信队列
  debezium.sink.http.dlq.enabled=true
  # DLQ存储类型（支持file、kafka等）
  debezium.sink.http.dlq.type=file
  # 文件类型DLQ的存储路径
  debezium.sink.http.dlq.file.path=/var/debezium/dlq
  

  后续可通过工具重新投递DLQ中的消息，恢复数据同步。

• 设置HTTP客户端超时
  配置连接和读取超时，避免HTTP请求无限等待占用资源：

  # 连接超时（毫秒）
  debezium.sink.http.connect.timeout.ms=5000
  # 读取超时（毫秒）
  debezium.sink.http.read.timeout.ms=10000
  

• 优化线程池配置
  调整HTTP Sink的线程池大小，适配并发请求量，防止线程耗尽：

  # HTTP请求处理线程池大小
  debezium.sink.http.thread.pool.size=10
  

• 进程守护兜底
  使用systemd、Supervisor等进程管理工具托管Debezium Server，配置自动重启规则，即使服务器崩溃也能快速恢复服务。以systemd为例，配置文件关键内容：

  [Service]
  ExecStart=/path/to/debezium-server/bin/run.sh
  Restart=always
  RestartSec=5
  

内容的提问来源于stack exchange，提问作者Erfan Mirhoseini