如何在Azure Databricks中用Selenium实现Power BI报表截图与自动化核查？

一、场景可行性确认 #

完全可以实现。Azure Databricks Notebook支持Python/Scala等编程语言，可通过Power BI REST API完成报表状态核查，结合邮件服务实现自动通知；同时也支持Selenium环境配置，满足报表截图需求。

二、自动核查+邮件通知的具体操作步骤 #

1. 基于Power BI REST API核查报表状态 #

这是最稳定高效的方式，无需模拟浏览器：

• 先在Azure AD注册应用，授予Report.Read.All、Dataset.Read.All等必要权限，获取客户端ID、客户端密钥、租户ID。
• 在Databricks Notebook中编写Python脚本，通过Azure AD获取访问令牌，调用Power BI API查询报表状态：

  import requests
  import os
  
  # 从Databricks环境变量读取敏感信息（避免硬编码）
  tenant_id = os.getenv("PBI_TENANT_ID")
  client_id = os.getenv("PBI_CLIENT_ID")
  client_secret = os.getenv("PBI_CLIENT_SECRET")
  
  # 获取Power BI API访问令牌
  token_url = f"https://login.microsoftonline.com/{tenant_id}/oauth2/v2.0/token"
  token_payload = {
      "grant_type": "client_credentials",
      "client_id": client_id,
      "client_secret": client_secret,
      "scope": "https://analysis.windows.net/powerbi/api/.default"
  }
  token_response = requests.post(token_url, data=token_payload)
  access_token = token_response.json()["access_token"]
  
  # 查询指定报表的状态（示例：检查数据集刷新状态）
  workspace_id = "你的工作区ID"
  dataset_id = "你的数据集ID"
  api_url = f"https://api.powerbi.com/v1.0/myorg/groups/{workspace_id}/datasets/{dataset_id}/refreshes"
  headers = {"Authorization": f"Bearer {access_token}"}
  refresh_response = requests.get(api_url, headers=headers)
  latest_refresh = refresh_response.json()["value"][0]
  
  # 判断报表是否就绪（比如刷新状态为Completed）
  report_ready = latest_refresh["status"] == "Completed"
  

2. 实现邮件通知 #

可选择两种方式：

• SMTP直接发送：适用于内部邮件服务器，示例代码：

  import smtplib
  from email.mime.text import MIMEText
  
  def send_notification(ready_status):
      msg = MIMEText(f"Power BI报表状态核查结果：{'已就绪' if ready_status else '未就绪'}")
      msg["Subject"] = "Power BI报表状态通知"
      msg["From"] = "sender@domain.com"
      msg["To"] = "manager@domain.com"
  
      with smtplib.SMTP("smtp.domain.com", 587) as server:
          server.starttls()
          server.login(os.getenv("SMTP_USER"), os.getenv("SMTP_PWD"))
          server.send_message(msg)
  
  send_notification(report_ready)
  

• Azure SendGrid：更稳定的云邮件服务，需在Azure创建SendGrid资源，获取API密钥后调用SDK发送。

3. 定时调度 #

在Databricks Jobs中创建定时任务，将Notebook设置为每日/指定时间自动运行，完成周期性核查与通知。

三、Azure Databricks中使用Selenium截取Power BI截图的方案评估 #

1. 可行性 #

可以实现，但需完成以下环境配置：

• 在Databricks集群中安装依赖：

  %pip install selenium webdriver-manager
  # 安装headless Chrome（Linux节点）
  %sh apt-get update && apt-get install -y chromium-browser chromium-chromedriver
  

• 编写Selenium脚本（headless模式，避免图形界面依赖）：

  from selenium import webdriver
  from selenium.webdriver.chrome.options import Options
  import os
  
  chrome_options = Options()
  chrome_options.add_argument("--headless=new")
  chrome_options.add_argument("--no-sandbox")
  chrome_options.add_argument("--disable-dev-shm-usage")
  
  # 初始化浏览器
  driver = webdriver.Chrome(options=chrome_options)
  
  # 访问Power BI报表链接（需处理登录，可通过环境变量传入账号密码）
  driver.get("你的Power BI报表共享链接")
  # 等待页面加载完成
  driver.implicitly_wait(10)
  
  # 截取全屏截图并保存到DBFS
  screenshot_path = "/dbfs/pbi_screenshot.png"
  driver.save_screenshot(screenshot_path)
  driver.quit()
  

2. 方案合理性 #

• 适合场景：如果需要直观的报表截图作为通知附件，此方案可行。
• 注意事项：
  • 身份验证：Power BI的Azure AD登录流程较复杂，Selenium模拟登录需处理验证码、MFA等问题（若启用MFA，需改用Service Principal登录或使用已持久化的cookie，存在一定安全风险）。
  • 资源消耗：模拟浏览器会占用更多集群资源，建议使用小规格集群或在非高峰时段运行。
  • 替代方案：若仅需状态核查，优先使用Power BI API，更高效稳定；若需截图，可考虑Power BI REST API的导出功能（部分场景支持导出为PDF/PNG，无需Selenium）。

内容的提问来源于stack exchange，提问作者Anagha P