在Azure DataFactory中查询带Unity Catalog的Azure Databricks数据的方案与最佳实践

1. 使用Azure Data Factory（ADF）Databricks SQL连接器 #

• 直接通过ADF内置的Databricks SQL连接器对接启用Unity Catalog的Databricks工作区，支持直接访问Unity Catalog层级的对象（catalog、schema、表）
• 配置时需提供Databricks工作区URL、身份验证凭据（PAT或服务主体），并指定目标Unity Catalog的 catalog、schema 及表名
• 可在ADF的复制活动、Lookup活动中直接编写SQL查询，快速获取Unity Catalog中的数据

2. 通过ADF触发Databricks SQL作业/Notebook #

• 在Databricks中编写针对Unity Catalog数据的SQL脚本或Notebook（包含查询逻辑），通过ADF的Databricks SQL活动或Notebook活动触发执行
• 适合复杂数据处理场景，比如需要多步数据转换后再将结果传递给ADF后续流程
• 执行结果可写入ADF兼容的存储服务（如ADLS Gen2），或直接被ADF后续活动消费

3. ADF数据流结合Databricks计算集群 #

• 配置ADF数据流使用Databricks集群作为计算运行时，在数据流可视化界面中直接引用Unity Catalog作为数据源
• 适合低代码构建数据管道，同时利用Databricks的计算能力处理Unity Catalog中的大规模数据集

• 权限最小化：确保ADF使用的身份（服务主体或PAT）在Unity Catalog中仅拥有必要权限（如SELECT、USAGE），避免过度授权，降低安全风险
• 查询性能优化：针对Unity Catalog中的表编写高效SQL，利用分区、索引减少数据扫描量；优先采用增量查询替代全量读取，降低资源消耗
• 优先使用服务主体身份验证：相比个人访问令牌（PAT），Azure AD服务主体更适合生产环境，便于权限统一管理和凭据轮换
• 完善监控与日志：启用ADF和Databricks的日志记录，跟踪查询执行状态、性能指标及错误信息，便于快速排查问题
• 缓存策略优化：对于频繁查询的Unity Catalog数据，可在Databricks中配置数据缓存，或在ADF中使用缓存活动提升重复查询的响应速度
• 配置参数化管理：将Unity Catalog的catalog名、schema名、Databricks连接信息存储在ADF链接服务或参数中，避免硬编码，方便环境切换和维护

内容的提问来源于stack exchange，提问作者bejo73