使用Azure Event Hub连接字符串通过Kafka接收数据的技术咨询

方案可行性 #

这个方案完全可行：

• Azure Event Hub原生兼容Kafka协议，官方支持用各类Kafka客户端（Python、Java等）监听Event Hub消息；
• 接收消息后写入Blob存储是常规数据流转场景，你可以在Kafka消费者逻辑里集成Azure Blob存储SDK完成写入，也可以用Azure Functions（基于Event Hub触发器）简化开发，无需自行维护Kafka消费者生命周期。

Kafka与Event Hub连接的条件 #

仅靠带监听权限的命名空间级连接字符串和命名空间名称，就能建立Kafka与Event Hub的连接，但要注意两点：

• 连接字符串必须包含Listen权限（命名空间级连接字符串默认包含Manage、Send、Listen权限，除非被自定义权限限制）；
• 必须指定对应Event Hub实例的名称（一个命名空间下可存在多个Event Hub，Kafka需要明确监听的「主题」对应Event Hub实例）。

以Python Kafka库为例，核心配置示例：

from kafka import KafkaConsumer

consumer = KafkaConsumer(
    "<目标Event Hub名称>",
    bootstrap_servers="<你的命名空间>.servicebus.windows.net:9093",
    security_protocol="SASL_SSL",
    sasl_mechanism="PLAIN",
    sasl_plain_username="$ConnectionString",
    sasl_plain_password="你的Event Hub连接字符串",
    auto_offset_reset="earliest"
)

测试连接字符串的其他方法 #

除了Event Hub Python库，你可以用这些方式验证：

• Azure CLI命令：
  安装并登录Azure CLI后，执行以下命令测试权限（需知道资源组名称）：

  # 查看Event Hub基本信息，验证连接字符串是否有读取权限
  az eventhubs eventhub show --namespace-name <你的命名空间> --name <Event Hub名称> --resource-group <资源组名称>
  

  若能返回Event Hub的JSON信息，说明连接字符串权限正常；若提示权限不足，说明连接字符串缺少必要权限。
• Kafka命令行消费者：
  用Kafka自带的kafka-console-consumer.sh工具测试，先创建consumer.properties文件：

  security.protocol=SASL_SSL
  sasl.mechanism=PLAIN
  sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="你的连接字符串";
  

  再执行命令：

  ./kafka-console-consumer.sh \
      --bootstrap-server <你的命名空间>.servicebus.windows.net:9093 \
      --topic <Event Hub名称> \
      --consumer.config consumer.properties
  

  若运行后进入等待消息状态，说明连接正常；若报错，会直接提示权限、配置类的具体问题。
• Azure Portal测试（若能访问命名空间）：
  登录Azure Portal进入目标Event Hub实例，在左侧菜单「消息」选项中，使用内置的发送/接收测试工具，输入连接字符串尝试收发消息，直接验证连接有效性。

内容的提问来源于stack exchange，提问作者LightningStack575