ADX通过Event Grid+Event Hubs入站数据的大小限制疑问
关于通过Event Grid+Event Hubs向ADX导入数据的大小限制疑问解答
1. 为何ADX场景下的大小限制与通用Event Grid/Event Hubs限制不同?
核心是两者描述的不是同一个对象的大小:
- Event Grid和Event Hubs的1MB限制,指的是它们传输的事件通知消息本身的大小——在ADX导入场景中,Event Grid发送给Event Hubs的只是Blob创建/更新的元数据通知(比如Blob的存储路径、名称等),这类通知体积很小,远小于1MB,完全符合通用限制。
- 文档中提到的6GB,是指要导入的Blob文件本身的大小,这个文件并不会经过Event Grid或Event Hubs传输,而是ADX收到通知后直接从存储服务拉取的,所以不受Event Hubs的消息大小限制。
2. Event Hub中是否存在配置项可指定发布内容类型,例如针对Blob时提升大小限制?
不存在这样的配置项,而且也不需要。因为在这个导入流程里,Event Hub传递的始终是小体积的事件元数据,从来不会传输Blob的实际内容。ADX是直接和存储服务交互读取文件,所以Event Hub的消息大小限制不影响大文件的导入。
3. 是否ADX在底层通过流/批处理方式消费消息,从而支持高达6GB的文件大小?
不是。ADX并没有从Event Hub消费大体积的消息,而是通过Event Hub收到的元数据通知,定位到存储中的Blob文件,然后直接从存储服务读取整个文件(或分块读取)来完成导入。6GB是ADX针对Blob导入的单个文件大小上限,和Event Hub的消息消费逻辑无关。
内容的提问来源于stack exchange,提问作者BreakHead
相关产品推荐
相关产品推荐

