如何配置Databricks向Azure Event Hubs流式传输消息（兼容Kafka消费者）

A. 如何配置Azure Event Hubs以对消费者提供Kafka兼容支持？ #

Azure Event Hubs（以下简称EH）默认原生支持Kafka 1.0及以上版本的协议，无需额外手动开启兼容配置，但有几个关键限制：

• 必须使用标准层或高级层的EH命名空间，基本层不支持Kafka兼容功能
• 确保现有Kafka消费者客户端版本≥1.0.0，低于该版本的客户端无法与EH正常通信
• 新建或已有EH命名空间无需额外配置，创建后自动提供Kafka兼容端点

B. Databricks发送消息时需使用Kafka协议，还是可直接使用Azure Event Hubs接口？ #

两种方式都可行，但结合你「仅修改消费者连接字符串，其余逻辑不变」的约束，优先用Kafka协议发送：

• Databricks结构化流自带Kafka连接器，直接配置Kafka协议参数就能写入EH，无需额外引入EH原生SDK
• 用Kafka协议发送的消息格式和原Kafka队列完全兼容，消费者仅替换连接字符串即可正常消费，不需要调整任何业务逻辑
• 若用EH原生接口发送，虽能写入，但需额外确保消息格式与原Kafka消息一致，反而不如Kafka协议对接省心

C. 消费者所需的Kafka端点如何获取？除新连接字符串外还需注意哪些事项？ #

Kafka端点获取方式 #

EH的Kafka端点格式固定为：{你的EH命名空间名称}.servicebus.windows.net:9093

• 直接从Azure门户的EH命名空间概览页面复制「Kafka端点」字段即可
• 也可从已有EH连接字符串中提取命名空间（连接字符串开头为Endpoint=sb://{命名空间名称}.servicebus.windows.net/...），再拼接上述格式

除连接字符串外的注意事项 #

1. Kafka客户端配置转换：需将EH连接字符串转为Kafka标准配置：
   • bootstrap.servers：填写获取到的Kafka端点
   • security.protocol：设为SASL_SSL
   • sasl.mechanism：设为PLAIN
   • sasl.jaas.config：格式为org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="你的EH完整连接字符串";
2. 客户端版本要求：消费者的Kafka客户端版本必须≥1.0.0，否则会出现协议兼容性问题
3. 消息大小限制：确保单条JSON消息体≤10Kb，符合EH的Kafka兼容消息大小限制
4. 消费者组复用：原Kafka消费者的组ID可直接复用，EH会自动识别并处理Kafka风格的消费者组偏移量

内容的提问来源于stack exchange，提问作者Mauro Minella