Power BI加载Azure Databricks表时如何前置日期过滤提速

针对你遇到的全量加载耗时过长的问题，以下几种方法可实现导入前的数据过滤，直接拉取最新数据：

1. 在Power Query中编写自定义SQL查询 #

通过Power BI的Power Query编辑器直接执行带过滤条件的Databricks SQL，仅获取目标数据：

• 连接Azure Databricks集群后，进入Power Query编辑器，点击「主页」→「空白查询」
• 打开空白查询的「高级编辑器」，替换默认代码为以下M语言片段（按需修改占位符）：

  let
      Source = Spark.Sql("SELECT * FROM your_catalog.your_schema.your_table WHERE date_column = (SELECT MAX(date_column) FROM your_catalog.your_schema.your_table)")
  in
      Source
  

• 替换your_catalog、your_schema、your_table为实际的目录、模式和表名，date_column为你用来过滤的日期字段，完成后加载数据即可。

2. 在Azure Databricks中创建预过滤视图 #

直接在Databricks侧创建仅包含最新数据的视图，Power BI加载该视图即可：

• 登录Azure Databricks，在SQL或Notebook中执行以下SQL：

  CREATE OR REPLACE VIEW your_schema.latest_data_view AS
  SELECT * FROM your_schema.your_table WHERE date_column = (SELECT MAX(date_column) FROM your_schema.your_table);
  

• 在Power BI中连接Databricks后，直接选择这个视图加载，无需额外过滤操作。

3. 利用Delta Lake优化（若使用Delta格式表） #

如果你的表是Delta Lake格式，可先优化表结构加速过滤查询：

• 在Databricks中执行优化命令，按日期列排序存储：

  OPTIMIZE your_schema.your_table ZORDER BY date_column;
  

  优化后再通过上述两种方法拉取数据，查询速度会进一步提升。

4. 考虑切换至DirectQuery模式（按需选择） #

如果不需要离线分析能力，可切换为DirectQuery模式：

• 连接Databricks时选择「DirectQuery」而非「导入」模式，Power BI不会导入全量数据，而是在交互时实时向Databricks发送过滤后的查询请求。注意该模式存在部分功能限制，需根据业务场景评估是否适用。

内容的提问来源于stack exchange，提问作者Mrignalini