如何将ADX(Kusto)中的流数据导出至BLOB或ADLS Gen2
ADX高容量流式数据导出至BLOB/ADLS Gen2的可行方案
目前官方公开的ADX文档确实仅覆盖了流式摄入相关说明,未明确标注流式导出的专项实现方案,除了最低导出频率为5分钟的原生连续导出功能外,有两种已在生产环境验证过的方案可以满足低延迟高容量的流式导出需求:
- 更新策略+数据表更新通知方案
首先为需要导出的源表配置更新策略,将新摄入的流式数据同步到专属的导出队列表,随后为该队列表开启数据表更新通知能力。该功能可配置的触发阈值最低为100KB/1秒,数据达到阈值后ADX会主动推送新增数据块的元信息到事件网格,你可以通过轻量计算服务消费通知并拉取对应增量数据,直接写入BLOB或ADLS Gen2即可。该方案端到端延迟可控制在10秒至1分钟区间,单集群支持吞吐量可达GB/秒级别,不会对源表的查询、摄入性能产生明显影响。 - 流链路双写方案
若你的数据在摄入ADX前已经过事件中心、IoT中心这类流式消息队列中转,可以直接为消息队列新增独立消费组,通过流计算作业将同一份流数据并行写入ADX和目标存储。该方案延迟最低可达秒级,且完全不占用ADX集群的计算资源,适合吞吐量极高、对ADX负载敏感的场景。
两种方案均可以适配绝大多数流式导出的业务需求,你可以根据自身的链路架构、延迟要求、资源预算选择对应的实现方式。
内容的提问来源于stack exchange,提问作者Dhiraj
相关产品推荐
相关产品推荐

