如何重启confluentinc/cp-server-connect容器时保留连接器配置

核心原理：配置存储位置 #

分布式模式的Confluent Server Connect不会把连接器配置存在容器本地文件，而是存储在Kafka的三个内部主题中：

• connect-configs：保存所有连接器的配置信息
• connect-offsets：保存连接器的消费偏移量
• connect-status：保存连接器的运行状态

你的配置丢失，本质是这些Kafka内部主题的数据没有被持久化，或者Connect重启后无法访问到保存这些主题的Kafka集群。

具体解决步骤 #

1. 持久化Kafka集群的数据
   确保你的Kafka容器（比如confluentinc/cp-kafka）挂载了Docker卷到Kafka的数据目录/var/lib/kafka/data，这样Kafka重启后内部主题不会丢失。示例Docker挂载配置：

   volumes:
     - kafka-data:/var/lib/kafka/data
   

2. 确认Connect的关键配置参数
   检查你的Connect容器环境变量，确保正确指向持久化的Kafka集群，并且配置了正确的存储主题：

   • CONNECT_BOOTSTRAP_SERVERS：设置为你的Kafka集群地址（比如kafka:9092）
   • CONNECT_CONFIG_STORAGE_TOPIC：指定配置存储主题（默认是connect-configs，建议提前手动创建并设置至少3个副本）
   • CONNECT_OFFSET_STORAGE_TOPIC：指定偏移量存储主题（默认connect-offsets）
   • CONNECT_STATUS_STORAGE_TOPIC：指定状态存储主题（默认connect-status）
   • 如果是首次启动Connect，可以通过CONNECT_CONFIG_STORAGE_REPLICATION_FACTOR等参数让Connect自动创建这些主题（生产环境建议手动创建以保证可用性）

3. 无需挂载Connect本地卷保存配置
   因为配置完全存在Kafka内部主题中，只要Kafka数据持久化，Connect容器重启后会自动从Kafka加载所有连接器配置，不需要挂载Connect容器的本地目录来保存配置。

额外说明 #

如果你的Connect是运行在单机模式（不推荐生产环境使用），配置会保存在本地文件中，此时需要挂载Connect配置文件指定的目录（通常是/etc/kafka/connect或自定义路径）。但cp-server-connect镜像默认是分布式模式，所以大概率不是这种情况。

内容的提问来源于stack exchange，提问作者bankoff