使用Docker Compose部署Kafka Connect插件安装异常问题

问题1：Schema Registry容器启动后随即退出 #

原因 #

depends_on仅保证容器启动顺序，当依赖的Kafka Broker未完全就绪时，Schema Registry连接失败导致直接退出。

解决方法 #

在Schema Registry服务配置中添加健康检查和自动重启策略，确保服务稳定运行：

schema-registry:
  image: confluentinc/cp-schema-registry:6.1.0
  container_name: schema-registry
  ports: 
    - 8081:8081
  depends_on:
    - zookeeper
    - broker
  environment:
    SCHEMA_REGISTRY_HOST_NAME: schema-registry
    SCHEMA_REGISTRY_KAFKASTORE_BOOTSTRAP_SERVERS: broker:29092
  healthcheck:
    test: ["CMD", "curl", "-f", "http://localhost:8081/subjects"]
    interval: 10s
    timeout: 5s
    retries: 5
  restart: unless-stopped

问题2：Kafka Connect已安装插件无法通过API检测到 #

原因 #

1. Kafka Connect默认不会递归扫描插件目录的子文件夹，confluent-hub将插件安装在/usr/share/confluent-hub-components/的子目录中，但环境变量CONNECT_PLUGIN_PATH仅指定了父目录，导致Worker无法加载插件。
2. 插件安装时使用root权限，启动Worker时切换为appuser，存在权限不足问题。

解决方法 #

方法1：修改插件路径为递归扫描

更新Kafka Connect的环境变量，使用通配符包含所有插件子目录：

environment:
  # 其他环境变量保持不变
  CONNECT_PLUGIN_PATH: "/usr/share/java,/usr/share/confluent-hub-components/*"

方法2：显式指定插件目录

修改Kafka Connect的启动命令，安装插件后手动添加具体插件目录到CONNECT_PLUGIN_PATH：

command: 
  - bash 
  - -c 
  - |
    echo "Installing connector plugins"
    confluent-hub install --no-prompt confluentinc/kafka-connect-jdbc:10.0.2
    confluent-hub install --no-prompt jcustenborder/kafka-connect-spooldir:2.0.60
    confluent-hub install --no-prompt streamthoughts/kafka-connect-file-pulse:1.5.0
    # 显式添加每个插件的安装目录到插件路径
    export CONNECT_PLUGIN_PATH="/usr/share/java,/usr/share/confluent-hub-components/jcustenborder-kafka-connect-spooldir,/usr/share/confluent-hub-components/confluentinc-kafka-connect-jdbc,/usr/share/confluent-hub-components/streamthoughts-kafka-connect-file-pulse"
    # 启动Kafka Connect Worker
    /etc/confluent/docker/run &
    # 保持容器运行
    sleep infinity

方法3：修复插件目录权限

在启动命令中添加权限修复步骤，确保appuser能访问插件文件：

command: 
  - bash 
  - -c 
  - |
    echo "Installing connector plugins"
    confluent-hub install --no-prompt confluentinc/kafka-connect-jdbc:10.0.2
    confluent-hub install --no-prompt jcustenborder/kafka-connect-spooldir:2.0.60
    confluent-hub install --no-prompt streamthoughts/kafka-connect-file-pulse:1.5.0
    # 修复插件目录权限
    chown -R appuser:appuser /usr/share/confluent-hub-components/
    # 启动Kafka Connect Worker
    /etc/confluent/docker/run &
    # 保持容器运行
    sleep infinity

验证修复 #

执行以下命令确认插件已加载：

curl -s localhost:8083/connector-plugins|jq '.[].class'|egrep 'SpoolDir'

内容的提问来源于stack exchange，提问作者user2128702