如何在Azure Data Explorer上对接SQL Server完成ADX数据拉取

可行性说明 #

该需求完全可实现，目前有3种常用的成熟落地方案，可根据同步频率、数据量级、运维成本的实际要求选择对应方案：

方案1：ADX原生导出+SQL Server批量导入（适合一次性/不定期全量同步） #

该方案无需额外服务依赖，操作灵活度高，适合TB级以下的全量数据同步需求：

• 第一步：在ADX中运行.export命令，将目标表或查询结果导出为CSV/Parquet格式存储到Azure存储账户（Blob/ADLS Gen2都可支持），导出命令示例：

.export async to csv (h@'https://<你的存储账号>.blob.core.windows.net/<容器名>;<你的SAS访问密钥>) 
with (sizeLimit=1073741824, namePrefix=adx_export_) 
<你要同步数据的ADX查询语句>

• 第二步：在SQL Server端使用BULK INSERT命令直接读取存储账户中的导出文件写入目标表，命令示例：

BULK INSERT <SQL Server目标表名> 
FROM 'https://<你的存储账号>.blob.core.windows.net/<容器名>/adx_export_000001.csv' 
WITH (FORMAT = 'CSV', FIRSTROW = 2, DATA_SOURCE = '<你预先在SQL Server中创建的存储数据源名称>')

• 优势：导出效率高，不需要额外部署服务，临时同步场景下成本最低。

方案2：Azure数据工厂/ Synapse管道调度（适合周期性增量/全量同步） #

该方案为全托管模式，适合生产环境需要长期稳定运行的同步作业：

• 第一步：在Azure数据工厂或Synapse工作区中创建两个连接服务，分别关联ADX集群和目标SQL Server实例
• 第二步：配置复制活动，源端选择ADX作为数据源，可直接写入KQL查询过滤需要同步的增量数据；Sink端选择SQL Server的对应目标表
• 第三步：配置调度触发器，按照业务要求的频率（小时/天/周等）自动触发同步任务
• 优势：内置异常告警、失败重试、增量同步逻辑，无需自行维护同步代码，运维成本极低。

方案3：ADX SQL Server插件（适合小数据量临时查询拉取） #

如果不需要将数据持久化同步到SQL Server，只是需要在SQL中临时查询ADX的小数据量结果，可以选择该方案：

• 在SQL Server中配置Linked Server连接到ADX集群，配置完成后可直接在SQL Server中运行查询拉取ADX数据，示例语句：

SELECT * FROM OPENQUERY(<你创建的ADX链接服务名称>, '<KQL查询语句>')

• 优势：无数据落地成本，操作简单，适合单次小数据量跨源查询场景，不适合大规模数据同步。

注意事项 #

• 同步前需要确认ADX和SQL Server的网络连通性，若实例启用了网络隔离，需要把对应服务的IP段加入访问白名单
• 增量同步场景建议在ADX表中设置时间戳字段作为增量标识，每次同步仅拉取上次同步时间之后的数据，减少不必要的资源消耗
• 大数据量同步建议分批导出导入，避免单次作业占用过多集群资源影响正常业务运行

内容的提问来源于stack exchange，提问作者Christian