如何通过Purview实现Power BI与Databricks SQL端点的数据血缘关联？

针对你在Purview构建数据血缘PoC时，无法关联Power BI资产与Databricks SQL端点底层表的问题，以下是三个可落地的实践方案：

方案一：API联动 + 时间/身份维度匹配 #

核心思路是通过Power BI和Databricks的API，结合刷新时间窗口、执行身份两个维度，把数据集刷新任务和对应的Databricks查询绑定，再解析SQL提取表血缘。

具体步骤： #

1. 拉取Power BI数据集刷新日志
   通过Power BI REST API获取目标数据集的刷新记录，提取关键信息：

   GET https://api.powerbi.com/v1.0/myorg/groups/{groupId}/datasets/{datasetId}/refreshes
   

   从返回结果中提取：

   • startTime/endTime：刷新的时间范围
   • requestedBy：执行刷新的服务主体（或用户）UPN
   • datasetId/name：数据集唯一标识和名称

2. 筛选Databricks目标查询
   调用Databricks SQL查询历史API，筛选出对应时间窗口、对应身份执行的SQL语句：

   GET /api/2.0/sql/history/queries?user_name={service-principal-upn}&start_time_ms={start-time-ms}&end_time_ms={end-time-ms}
   

   注：时间戳需转换为毫秒级。

3. 解析SQL提取表血缘
   用SQL解析工具（比如Python的sqllineage库）解析筛选出的SQL语句，提取用到的Databricks表（含数据库名）：

   from sqllineage.runner import LineageRunner
   sql = "SELECT * FROM lake_db.sales.fact_sales WHERE date >= '2024-01-01'"
   runner = LineageRunner(sql)
   # 获取所有依赖表
   source_tables = [str(t) for t in runner.source_tables]
   

4. 导入Purview补全血缘
   通过Purview REST API或SDK，将Power BI数据集与解析出的Databricks表的关联关系，写入Purview的元数据存储，关联已扫描到的Power BI和Databricks资产。

优缺点： #

• 优点：无需接触.pbix文件，依赖标准化API实现，适合无法获取数据集文件的场景
• 缺点：若多个数据集用同一身份在同窗口刷新，需额外通过SQL特征（如字段匹配）校验，避免关联错误

方案二：解析.pbix文件提取静态血缘 #

核心是直接从.pbix文件的数据集模型定义中，提取与Databricks表的关联关系，属于静态血缘获取。

具体步骤： #

1. 解压.pbix文件
   .pbix本质是zip压缩包，直接解压后找到DataModelSchema文件（JSON格式），这是数据集的核心模型定义。

2. 解析数据源与查询逻辑
   在DataModelSchema中定位：

   • Datasources节点：筛选类型为Databricks的数据源，获取连接配置
   • Expressions或Queries节点：若数据集用直接SQL查询，此处会存储原始SQL；若用Power Query（M语言），则存储M表达式

3. 提取表名

   • 若为SQL语句：直接用方案一中的SQL解析工具提取表
   • 若为M表达式：用Power Query解析库（如Python的powerquery-parser）解析M代码，提取引用的表名（比如Source = Sql.Databases("databricks-sql-endpoint"){[Name="lake_db"]}[Schema]{[Name="sales"]}[Table]{[Name="fact_sales"]}这类语句，可提取出lake_db.sales.fact_sales）

4. 关联Purview资产
   将解析出的表与Power BI数据集/报表绑定，导入Purview完成血缘链路。

优缺点： #

• 优点：直接获取数据集与表的静态关联，不受刷新任务影响，准确率高
• 缺点：需要获取.pbix文件的访问权限；若M表达式含动态逻辑（如参数化表名），解析难度会提升

方案三：Purview自定义扫描扩展 #

如果需要长期自动化维护血缘，可以基于Purview SDK开发自定义扫描程序：

• 程序定期扫描Power BI资产（通过API）和Databricks元数据/查询历史
• 自动执行方案一或方案二的关联逻辑，将血缘关系写入Purview
• 可结合Power BI的刷新事件触发扫描，实现准实时血缘更新

落地优先级建议 #

1. 若能获取.pbix文件，优先采用方案二，血缘准确率最高
2. 若无法获取.pbix文件，采用方案一，通过时间+身份+SQL特征的组合匹配实现关联
3. PoC验证通过后，可基于方案三开发自动化扫描工具，长期维护血缘

内容的提问来源于stack exchange，提问作者Bart