Azure跨区域Databricks关联存储账户带宽成本激增解决方案咨询

核心误解澄清 #

US East（弗吉尼亚北部）和US East 2（俄亥俄州）是Azure的两个独立区域，并非同一区域。Azure的区域是地理上独立的数据中心集群，跨区域的数据传输会产生明确的出站带宽费用，这是你成本暴涨的直接原因。

成本飙升的原因 #

当Databricks环境部署在US East 2，却访问US East的存储账户时，所有数据的读取、写入操作都属于跨区域传输。这类传输会被Azure计费为存储账户的出站带宽流量，且跨区域带宽费用远高于同区域内的传输费用，这就是成本涨幅超200%且与Databricks迁移时间完全吻合的原因。

迁移存储到US East 2的效果 #

将存储账户迁移至US East 2区域完全可以解决当前的成本问题：

• Azure同区域内，Databricks（运行在区域内的计算资源）与存储账户之间的数据传输是免费的，不会产生出站带宽费用。
• 同时，同区域访问还能降低数据传输延迟，提升Databricks作业的运行性能。

迁移建议 #

• 可以使用AzCopy命令行工具或者Azure Data Factory来批量迁移存储账户中的数据，这两个工具都支持高效、可靠的跨区域数据复制。
• 迁移过程中可以逐步切换Databricks作业的存储路径指向新的US East 2存储账户，避免业务中断。

内容的提问来源于stack exchange，提问作者Joshua L. Menendez