同一Azure订阅中能否分用Unity Catalog与Purview治理不同数据负载?
分治部署Unity Catalog与Microsoft Purview的可行性方案
问题背景
在同一Azure订阅中,工作负载分为两类:
- SQL相关工作负载:所有SQL/ETL/数据分析工作均通过Databricks(湖仓、Delta Lake、Databricks SQL)完成,未使用Azure SQL数据库
- 非SQL工作负载:Excel、CSV、PDF、媒体文件等资产存储于Azure各类存储账户中
当前Purview在非SQL资产治理中表现优异,但管理Databricks内的SQL工作负载时遇到诸多挑战,疑问是否可以分治部署:让Unity Catalog负责SQL相关工作负载的治理,Purview负责非SQL工作负载的治理?
核心结论
完全可以在同一Azure订阅中实现这种分治部署,这是适配你当前场景的合理且高效的方案。
具体说明
1. Unity Catalog适配Databricks SQL工作负载
Unity Catalog是Azure Databricks原生的湖仓治理方案,对Databricks生态的支持深度适配:
- 提供精细的权限管控(表级、列级、行级),适配Databricks内多角色的访问需求
- 原生支持Delta Lake的数据血缘追踪、Databricks SQL的操作审计
- 统一管理Databricks湖仓中的元数据,无需额外适配即可覆盖你所有的SQL/ETL/数据分析工作,能有效解决你使用Purview管理这部分资产时遇到的兼容性问题
2. Purview继续管控非SQL工作负载
Microsoft Purview在非结构化/半结构化资产治理上的优势明显,适合继续负责第二类工作负载:
- 自动发现存储账户中的各类文件资产,生成实时数据全景图
- 自带敏感数据分类能力,覆盖Excel、CSV等文件的敏感信息识别
- 提供端到端数据血缘与可信数据目录服务,满足数据消费者的查找与使用需求
关于Purview的Databricks预览功能
虽然Purview已推出预览级的Azure Databricks连接管理功能,但考虑到你已在使用Purview管理Databricks资产时遇到挑战,且Unity Catalog对Databricks生态的支持更成熟稳定,优先采用分治方案比强行用Purview覆盖全场景更可靠。
内容的提问来源于stack exchange,提问作者nam
相关产品推荐
相关产品推荐

