如何不运行Databricks集群连接PBI并实现Delta表高性价比数据供给

核心优先方案：Power BI直连Delta存储层，完全卸载Databricks常驻集群成本 #

Delta表本身是以Parquet文件+事务日志的形式存在对象存储容器中，Power BI原生支持Delta格式直连，不需要经过Databricks计算集群：

• 你只需要在Databricks运行ETL任务、更新Delta表时启动集群，任务完成后即可直接关停，所有PBI查询完全不占用Databricks计算资源，集群成本可降低90%以上
• 直连模式下Power BI会自动读取Delta事务日志识别最新表版本，支持增量更新，只要Delta表提前做过OPTIMIZE、分区、Z-order优化，查询性能和对接Databricks集群的差异在10%以内，导入模式下性能反而更高
• 适合没有强制依赖Databricks运行时能力（比如自定义行级权限、实时UDF计算）的绝大多数场景

备选方案：替换常驻集群为Databricks Serverless SQL仓库 #

如果你的业务场景必须依赖Databricks的运行时能力，优先用Serverless SQL替代固定配置的常驻集群：

• Serverless SQL按实际查询消耗的算力计费，无查询时不产生计算费用，不需要手动维护集群启停，同等查询量下成本比常驻集群低60%~80%
• 支持弹性扩缩容，面对大表查询、多并发报表请求时性能比固定配置集群更高，可搭配查询缓存进一步降低重复查询的成本和响应延迟
• PBI侧不需要做大量改造，只需要把原有集群连接地址替换为Serverless SQL端点即可

通用优化项（两种方案都适用） #

• 提前针对PBI常用查询维度对Delta表做优化：按时间维度分区，对常用筛选、关联字段做ZORDER BY优化，定期执行OPTIMIZE合并小文件，减少查询时的文件扫描量
• 非实时报表优先选择Power BI导入模式，仅在定时刷新时读取Delta数据，平时不产生任何额外计算开销，性能也优于直连模式
• T+1更新的报表可以提前通过Databricks ETL生成聚合宽表，避免PBI查询时做实时计算，进一步提升查询效率、降低计算成本

内容的提问来源于stack exchange，提问作者Luiz Viola