MSK Connect对接Azure Kafka集群：认证配置不支持的解决方案咨询

针对MSK Connect Worker配置限制无法直接设置全局认证参数的问题，可通过以下几种方式实现与Azure托管Kafka集群的安全集成：

1. 连接器层面配置生产者认证参数 #

MSK Connect允许在连接器自身配置中添加前缀为producer.的Kafka生产者参数，这些参数会直接传递给连接器的输出生产者客户端，不受Worker级配置限制。适用于大多数标准认证场景：

• 若使用SASL认证（如PLAIN/SCRAM），可配置：

  producer.bootstrap.servers=<azure-kafka-bootstrap-endpoint>:9093
  producer.security.protocol=SASL_SSL
  producer.sasl.mechanism=PLAIN
  producer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<your-azure-kafka-username>" password="<your-azure-kafka-password>";
  

• 若使用SSL双向认证，可配置：

  producer.bootstrap.servers=<azure-kafka-bootstrap-endpoint>:9093
  producer.security.protocol=SSL
  producer.ssl.truststore.location=/tmp/truststore.jks
  producer.ssl.truststore.password=<truststore-password>
  producer.ssl.keystore.location=/tmp/keystore.jks
  producer.ssl.keystore.password=<keystore-password>
  

注意：需确保MSK Connect的执行角色有权限访问SSL证书文件（可通过S3挂载或容器内置证书实现）。

2. 自定义连接器插件封装认证逻辑 #

如果默认Kinesis源连接器无法满足需求，可开发自定义连接器插件：

• 在插件代码中直接初始化带认证配置的Kafka生产者客户端，绕过Worker配置限制；
• 将认证凭证通过环境变量或AWS Secrets Manager加载，避免硬编码；
• 打包插件JAR后上传至MSK Connect的插件仓库，创建连接器时选择该自定义插件。

3. 网络代理中转认证流量 #

通过中间代理层处理认证逻辑，让MSK Connect无需直接配置受限参数：

• 在AWS VPC内部署代理服务（如HAProxy），配置代理与Azure Kafka集群的安全认证（SASL/SSL）；
• 配置MSK Connect的连接器指向代理地址，由代理负责与Azure Kafka的加密和认证交互；
• 需确保AWS VPC与Azure虚拟网络通过VPC peering或VPN打通，保证流量可达。

4. 结合AWS Secrets Manager动态加载凭证 #

利用MSK Connect的密钥管理功能，从Secrets Manager中动态拉取认证凭证：

• 将Azure Kafka的认证信息（用户名、密码、证书路径等）存储到AWS Secrets Manager；
• 在连接器配置中引用密钥，示例：

  secrets.providers=aws
  secrets.aws.region=<your-aws-region>
  producer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="${secret:aws:<your-secret-arn>:username}" password="${secret:aws:<your-secret-arn>:password}";
  

• 需为MSK Connect执行角色添加读取Secrets Manager密钥的权限。

内容的提问来源于stack exchange，提问作者Yogesh Katkar