如何在ADX内实现SQL关联外部表与内部表的自动同步？

针对你的需求，以下两种纯ADX内部方案可以实现SQL表与ADX内部表的自动同步，无需依赖外部工具：

方案1：利用计划查询规则（Scheduled Query Rules）实现精准增量同步 #

这是最灵活可控的方案，适配大多数场景：

• 前置准备：确保SQL外部表和ADX内部表都包含可用于增量判断的字段（如LastUpdatedTime时间戳、Id自增主键），同时创建一个小型检查点表（如SQLSyncCheckpoint），用来记录每个同步表的最新同步位置（例如MaxLastUpdatedTime或MaxId）。

• 配置计划查询：在ADX中创建定时执行的查询，逻辑如下：

  1. 从检查点表获取上次同步的最大增量值
  2. 从SQL外部表拉取该增量值之后的新数据
  3. 用.set-or-append将增量数据写入内部表
  4. 更新检查点表的同步位置

  示例Kusto代码：

  // 获取上次同步的最新时间戳
  let last_sync_ts = toscalar(SQLSyncCheckpoint | where TableName == "YourTargetSQLTable" | project MaxLastUpdatedTime);
  // 拉取SQL外部表中的增量数据
  let new_records = YourSQLEXternalTable | where LastUpdatedTime > last_sync_ts;
  // 将增量数据写入ADX内部表
  .set-or-append YourADXInternalTable <| new_records;
  // 更新检查点，记录本次同步的时间戳
  .set-or-append SQLSyncCheckpoint <| datatable(TableName:string, MaxLastUpdatedTime:datetime) ["YourTargetSQLTable", now()]
  

• 调度配置：根据SQL表的更新频率设置计划查询的执行间隔（如每5分钟、每10分钟），确保同步时效性符合需求。

注意事项 #

• 若SQL表存在删除操作，需在SQL端标记删除状态（如新增IsDeleted字段），同步时在ADX中过滤或删除对应记录；
• 确保ADX对SQL数据库的连接稳定，外部表权限足够；
• 可在查询中加入日志记录（如写入SyncLog表），方便监控同步成功率和数据量。

方案2：使用更新策略（Update Policy）实现轻量同步（有限场景） #

更新策略是ADX内置的实时数据转换机制，可结合外部表实现轻量同步，适合数据量小、更新频率低的场景：

• 给ADX内部表添加更新策略，源设置为对SQL外部表的增量查询（基于时间窗口），示例配置：

  .alter table YourADXInternalTable policy update @'[{"Source": "YourSQLEXternalTable | where LastUpdatedTime > ago(1h)", "Query": "", "IsEnabled": true}]'
  

• 该方案无需手动维护检查点，但同步触发依赖ADX内部调度，无法精准控制同步位置，仅适合对同步精度要求不高的场景。

优化建议 #

• 在SQL端创建增量视图，仅包含新增/更新的记录，ADX外部表指向该视图，可大幅减少每次查询的数据量，提升同步效率；
• 对同步任务添加监控，通过ADX的日志查询跟踪同步失败情况，及时排查问题。

内容的提问来源于stack exchange，提问作者Brahmaiah Takkellapati