You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Azure Data Explorer中如何暂停数据摄入以处理表或Schema变更?

Azure Event Hub 到 Azure Data Explorer 数据摄入的暂停与恢复方案

流式摄入(Event Hub 数据连接)

  • 暂停方法:无需删除重建连接,直接在Azure Portal中找到ADX集群对应的Event Hub数据连接,选择禁用操作即可停止数据摄入。此时ADX会停止从Event Hub拉取数据,消费者组的偏移量会被保留。
  • 恢复方法:完成表名或Schema变更后,重新启用该数据连接,系统会自动从暂停时的偏移量位置继续拉取数据,无需担心数据丢失或从头开始。
  • Schema变更注意事项:若修改了数据流Schema,需确保ADX表的Schema同步更新,或调整数据连接的字段映射规则(如使用CSV/JSON映射),避免摄入时出现字段不匹配的错误。

批量摄入(如中转作业/批量命令)

  • 若使用Azure Function、Logic Apps等中转服务实现批量摄入,直接暂停对应的作业(停止Function应用、禁用Logic Apps触发器)即可中断批量流程。变更完成后重启作业,作业会基于自身记录的偏移量或检查点继续处理。
  • 若使用ADX的ingest from eventhub批量命令,只需终止执行该命令的进程;恢复时重新运行命令,消费者组的偏移量会自动保留,从上次中断位置继续批量摄入。

避免删除重建连接的坑

你之前删除重建连接后无法恢复到暂停位置,是因为删除连接时ADX关联的消费者组偏移量会被清除,重新创建时若未指定历史偏移量,默认会从最新位置开始拉取。直接禁用/启用连接是更安全的方式,能完整保留偏移量信息。

表名变更的平滑过渡方案(可选)

如果需要修改目标表名,建议先创建新表并配置临时Event Hub连接同步数据,待新表数据追平后,将主连接切换到新表,再停用旧连接,全程无需中断数据摄入。

内容的提问来源于stack exchange,提问作者Flavi

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.07.26 20:42:11