MongoSinkConnector使用FileConfigProvider解析密钥抛出验证异常问题

根本原因 #

你遇到的报错核心是config.providers相关配置放置位置错误：

当前你将ConfigProvider配置放在连接器的请求参数中，MongoSinkConnector的配置校验逻辑会在Worker解析占位符之前执行，未替换的${xxx}占位符会被直接判定为非法的MongoDB连接串。

解决步骤 #

步骤1：在Kafka Connect Worker级别配置FileConfigProvider #

修改kafka-connect/Dockerfile，在原有ENV配置末尾新增以下两行：

# 新增Worker级别的配置提供器配置
ENV CONNECT_CONFIG_PROVIDERS=file
ENV CONNECT_CONFIG_PROVIDERS_FILE_CLASS=org.apache.kafka.common.config.provider.FileConfigProvider

Confluent官方Kafka Connect镜像会自动将CONNECT_前缀的环境变量转换为Worker的配置项，下划线会自动替换为配置中的点分隔符。

步骤2：挂载密钥文件到Kafka Connect容器 #

修改docker-compose.yml中的kafka-connect服务配置，新增volumes挂载，将本地存储密钥的文件映射到容器内对应路径：

kafka-connect:
    build:
        context: ./kafka-connect
        dockerfile: Dockerfile
    container_name: kafka_connect
    depends_on:
        - kafka
    ports:
        - "8083:8083"
    # 新增挂载配置
    volumes:
        # 替换为你本地my-file.txt的实际存储路径
        - ./my-file.txt:/home/appuser/my-file.txt

注意要保证容器内的/home/appuser/my-file.txt文件对镜像默认运行用户appuser有可读权限。

步骤3：调整连接器配置请求 #

删除POST请求中连接器级别的config.providers相关配置，最终请求内容如下：

POST http://localhost:8083/connectors/my-sink/config
{
    "connector.class": "com.mongodb.kafka.connect.MongoSinkConnector",
    "topics": "topic",
    "database": "my-database",
    "connection.uri": "${file:/home/appuser/my-file.txt:mongo_uri}"
}

验证 #

修改完成后重新构建启动服务：

docker-compose down && docker-compose up --build -d

待Kafka Connect启动完成后重新提交连接器配置，Worker会先解析占位符替换为真实的MongoDB连接串，再传给连接器进行校验，即可正常通过校验。

内容的提问来源于stack exchange，提问作者Catalin