Azure Event Hub未捕获Blob变更消息：ADX流式摄入配置问题

一、Event Grid到Event Hub的事件投递验证 #

• 确认Blob存储账户的Event Grid订阅事件类型匹配Parquet文件写入场景：
  • 新建BlockBlob时，需勾选Microsoft.Storage.BlobCreated
  • 追加写入AppendBlob时，需额外勾选Microsoft.Storage.BlobAppendCreated或Microsoft.Storage.BlobBlockWritten
• 检查Event Grid订阅的筛选规则：
  • 移除不必要的前缀/后缀过滤，或明确添加.parquet后缀匹配，避免目标文件被过滤
  • 确认事件主题范围覆盖目标容器或整个存储账户，而非仅特定路径
• 查看Event Grid订阅的投递状态：
  • 在Azure Portal的Event Grid订阅页面，查看「传递失败」「传递成功」指标，若存在失败，根据错误信息定位问题（如权限不足、目标Event Hub不可用）

二、权限配置检查 #

• 给Event Grid分配Event Hub发送权限：
  • 在目标Event Hub或其命名空间的IAM页面，为Event Grid Service主体添加Azure Event Hubs Data Sender角色
• 给ADX分配Blob存储读取权限：
  • 在Blob存储账户的IAM页面，为ADX集群的系统分配标识添加Storage Blob Data Reader角色，确保ADX能读取Parquet文件内容

三、Parquet文件写入行为验证 #

• 确认流式管道的Blob写入方式：
  • 若为现有Blob追加数据（而非创建新Blob），默认BlobCreated事件不会触发，必须调整Event Grid订阅的事件类型为追加相关事件
  • 检查写入工具（如Flink、Spark）是否生成完整可触发事件的Parquet文件，部分工具会先创建临时文件，重命名后才触发Blob创建事件，需确认工具的事件触发逻辑

四、Event Hub与ADX连接配置检查 #

• 验证Event Hub的消息接收：
  • 使用Azure Portal的Event Hub「测试工具」，查看指定消费组是否有消息进入
  • 确认Event Hub的消息保留时间足够，避免消息未被ADX消费就被自动删除
• 检查ADX的Event Hub数据连接：
  • 确保连接配置中勾选「读取Blob存储事件」选项，并关联正确的Blob存储账户
  • 使用独占消费组，避免与其他消费者共享导致消息被抢占
  • 确认ADX表结构与Parquet文件的Schema匹配，避免因Schema不匹配导致摄入失败但无告警

内容的提问来源于stack exchange，提问作者hello