Azure Data Explorer中如何暂停数据摄入以处理表或Schema变更?
Azure Event Hub 到 Azure Data Explorer 数据摄入的暂停与恢复方案
流式摄入(Event Hub 数据连接)
- 暂停方法:无需删除重建连接,直接在Azure Portal中找到ADX集群对应的Event Hub数据连接,选择禁用操作即可停止数据摄入。此时ADX会停止从Event Hub拉取数据,消费者组的偏移量会被保留。
- 恢复方法:完成表名或Schema变更后,重新启用该数据连接,系统会自动从暂停时的偏移量位置继续拉取数据,无需担心数据丢失或从头开始。
- Schema变更注意事项:若修改了数据流Schema,需确保ADX表的Schema同步更新,或调整数据连接的字段映射规则(如使用CSV/JSON映射),避免摄入时出现字段不匹配的错误。
批量摄入(如中转作业/批量命令)
- 若使用Azure Function、Logic Apps等中转服务实现批量摄入,直接暂停对应的作业(停止Function应用、禁用Logic Apps触发器)即可中断批量流程。变更完成后重启作业,作业会基于自身记录的偏移量或检查点继续处理。
- 若使用ADX的
ingest from eventhub批量命令,只需终止执行该命令的进程;恢复时重新运行命令,消费者组的偏移量会自动保留,从上次中断位置继续批量摄入。
避免删除重建连接的坑
你之前删除重建连接后无法恢复到暂停位置,是因为删除连接时ADX关联的消费者组偏移量会被清除,重新创建时若未指定历史偏移量,默认会从最新位置开始拉取。直接禁用/启用连接是更安全的方式,能完整保留偏移量信息。
表名变更的平滑过渡方案(可选)
如果需要修改目标表名,建议先创建新表并配置临时Event Hub连接同步数据,待新表数据追平后,将主连接切换到新表,再停用旧连接,全程无需中断数据摄入。
内容的提问来源于stack exchange,提问作者Flavi
相关产品推荐
相关产品推荐

