将Kafka集群迁移至Azure Event Hubs的可行方案咨询

推荐的官方连接器 #

1. 微软 Azure Event Hubs Kafka Sink Connector #

• 微软官方开发，适配Kafka Connect生态，仅需Event Hubs的发送权限（无需命名空间管理员权限）
• 无需创建MirrorMaker2所需的内部主题，直接将Kafka消息写入指定Event Hub
• 原生支持标准Kafka消息格式，不会触发无意义的消息大小超限问题

2. Confluent Azure Event Hubs Sink Connector #

• Confluent官方维护，与Confluent Platform完全兼容
• 针对消息大小问题，可通过调整batch.size、linger.ms等参数优化，避免消息不必要的膨胀
• 支持Kafka Connect的核心特性（数据转换、错误处理等）

Strimzi Kafka Connect 兼容性 #

上述两个连接器均可直接与Strimzi部署的Kafka Connect配合使用，关键配置示例：

bootstrap.servers=<你的Event Hubs命名空间>.servicebus.windows.net:9093
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="<你的Event Hubs连接字符串>";
topics=<目标Event Hub名称>

确保连接器版本与Strimzi使用的Kafka主版本匹配即可。

内容的提问来源于stack exchange，提问作者redeemed