如何优化PowerBI读取Azure Databricks Delta表的性能（已部署Synapse）

我们将数据加载至存储在ADLS Gen2上的Azure Databricks Delta表，使用Databricks数据工程工作区及标准DS3V2集群，通过导入模式和DirectQuery模式将数据读取到PowerBI中。由于批量与流式数据写入同一张表，Delta表路径下生成大量小文件，导致PowerBI的DirectQuery读取速度极慢，亟需提升刷新效率。我们了解到可以使用SQL Warehouse优化，但架构中已部署Synapse承担分析工作负载，Databricks SQL Warehouse显得冗余，希望了解同类场景的优化方案。

一、Delta表层面优化 #

• 合并小文件：定期对Delta表执行OPTIMIZE命令合并小文件，减少文件数量。配合ZORDER BY对常用查询的列进行排序，提升过滤和扫描效率

  OPTIMIZE your_table_name ZORDER BY (query_frequent_column)
  

• 清理历史版本：执行VACUUM命令清理过期的表版本和文件，避免PowerBI扫描不必要的历史数据

  VACUUM your_table_name RETAIN 7 DAYS
  

• 调整写入策略：流式写入时配置checkpointLocation并调整maxFilesPerTrigger参数，控制每次触发生成的文件数量；批量写入时设置mergeSchema并调整分区策略，按查询高频维度（如日期）分区，减少扫描范围

二、PowerBI连接层面优化 #

• 导入模式优化：如果业务允许，优先使用导入模式，调整刷新计划为非高峰时段，利用PowerBI的本地缓存提升查询速度；针对大表可采用增量刷新，仅同步新增数据，减少每次刷新的数据量
• DirectQuery模式优化：在PowerBI中仅加载必要的列和数据，避免全表扫描；使用Databricks视图封装常用查询逻辑，减少PowerBI端的计算压力；确保PowerBI使用的Databricks集群配置足够（如升级至DS4V2及以上），避免资源瓶颈

三、利用现有Synapse架构优化 #

• 通过Synapse中转数据：将Delta表挂载到Synapse，通过Synapse SQL池（专用或无服务器）读取Delta数据，PowerBI连接Synapse SQL池进行查询。Synapse的查询优化器可有效处理小文件问题，同时复用现有分析架构，无需新增Databricks SQL Warehouse
• Synapse数据集成：使用Synapse管道定期将Delta表数据同步到Synapse专用SQL池的列存储表中，PowerBI基于列存储表查询，大幅提升DirectQuery性能

PowerBI的Databricks连接器所需连接信息（中文翻译） #

• 服务器主机名：Databricks工作区的服务器地址
• HTTP路径：集群或SQL Warehouse的JDBC/ODBC路径
• 访问令牌：Databricks个人访问令牌

内容的提问来源于stack exchange，提问作者azuresnowflake1