Azure Databricks存储成本优化：Blob Storage替代DBFS根的可行性问询

1. 方案是否可行？ #

完全可行。Azure Databricks原生支持挂载Azure Blob Storage（或ADLS Gen2）作为外部存储，Delta表的底层数据可以直接存储在挂载的Blob容器中。需要注意：

• Delta表的数据文件会存在Blob存储里，表的元数据（比如schema、分区信息）仍保存在Databricks的元存储中，不影响正常使用。
• 普通视图只是查询逻辑的定义，不占用存储资源，无需迁移；物化视图的数据同样可以放在挂载的Blob上。
• 函数属于工作区元数据范畴，和存储无关，不用做任何调整。

2. 能否切实降低存储成本？ #

是的，这是降低存储成本的有效手段：

• DBFS根目录默认使用Azure托管的热层存储，计费标准远高于Blob Storage的冷/归档层。将长期不访问的历史Delta表数据迁移到Blob的冷层或归档层，能直接削减存储费用。
• 你可以配置Blob Storage的生命周期管理策略，自动将超过指定时间（比如30天）的数据从热层移到冷层，再到归档层，实现自动化成本优化，无需手动干预。
• 注意：归档层存储成本最低，但数据解冻和检索成本较高，适合存放几乎不访问的归档数据；冷层适合偶尔查询的历史数据，能平衡成本和可访问性。

3. 这么做会带来性能问题吗？ #

分场景讨论：

• 热层Blob存储：如果将频繁访问的热数据放在Blob热层，性能和DBFS根目录几乎无差异——因为DBFS根目录底层也是Azure存储，Databricks对挂载的Blob有专门优化，读写性能一致。
• 冷/归档层Blob存储：访问冷层数据会有几秒到几十秒的延迟（数据需要从冷存储取回）；归档层数据需要先解冻（通常需1~12小时），解冻期间无法访问，且解冻有额外成本。如果你的查询涉及大量冷/归档数据，查询响应时间会明显变长，不适合低延迟的业务场景。

总结：只要根据数据访问频率合理选择存储层（热层存常用数据，冷/归档层存历史数据），就能在大幅降低存储成本的同时，避免对核心业务的性能影响。

内容的提问来源于stack exchange，提问作者pingpong2020