如何从Databricks SQL查询历史获取PowerBI的工作区/数据集ID元数据？

核心问题 #

• 可通过Databricks SQL查询历史识别来源为PowerBI的查询，但无法获取PowerBI侧的工作区ID、数据集ID等元数据
• 调用Databricks SQL查询历史API（/api/2.0/sql/history/queries）时，返回结果缺失大部分所需的关键元数据

可能原因与解决方向 #

1. API请求未指定完整字段 #

默认情况下，Databricks SQL查询历史API不会返回全部元数据字段，需显式添加参数以获取详细信息：

• 在请求参数中加入include_details=true，强制返回查询的详细上下文
• 可搭配max_results参数控制每页返回数量，避免请求超时

2. PowerBI侧元数据传递缺失 #

PowerBI连接Databricks时，默认不会主动将自身的工作区ID、数据集ID传递到查询上下文。可通过以下方式手动注入：

• 在PowerBI的M语言脚本中，将元数据以注释形式嵌入SQL查询前缀，示例：

  let
      Source = Databricks.DatabricksContents("your-databricks-instance", "/sql/endpoint/your-endpoint"),
      // 嵌入PowerBI元数据到查询注释
      CustomQuery = "-- PowerBI_WorkspaceID: " & PowerBIWorkspaceID & " -- PowerBI_DatasetID: " & PowerBIDatasetID & "#(lf)" & "SELECT * FROM your_target_table",
      Result = Value.NativeQuery(Source, CustomQuery)
  in
      Result
  

• 后续在Databricks查询历史中，可通过解析SQL注释提取这些元数据

3. 完善API调用代码 #

补充完整的请求逻辑及必要参数，确保获取到尽可能多的元数据：

import requests

DATABRICKS_INSTANCE = "https://your-databricks-instance.cloud.databricks.com"
TOKEN = "your-access-token"

url = f"{DATABRICKS_INSTANCE}/api/2.0/sql/history/queries"
headers = {
    "Authorization": f"Bearer {TOKEN}",
    "Content-Type": "application/json"
}

all_queries = []
next_page_token = None

while True:
    params = {
        "include_details": "true",
        "max_results": 100
    }
    if next_page_token:
        params['page_token'] = next_page_token
    
    response = requests.get(url, headers=headers, params=params)
    response.raise_for_status()
    query_batch = response.json()
    
    all_queries.extend(query_batch.get("res", []))
    next_page_token = query_batch.get("next_page_token")
    
    if not next_page_token:
        break

# 筛选并查看PowerBI来源的查询详情
for query in all_queries:
    if "PowerBI" in query.get("user_agent", ""):
        print("PowerBI查询元数据:", query)

4. 替代方案：启用Databricks审计日志 #

若API仍无法满足需求，可启用Databricks审计日志。审计日志会记录更全面的请求上下文信息，包含来自PowerBI的请求的相关细节，可通过分析日志提取所需元数据。

内容的提问来源于stack exchange，提问作者Ankit Singh