Azure Databricks读取Azure Storage中Delta Table的网络及性能咨询

1. 默认部署下的数据传输路径 #

当Azure Storage和Azure Databricks均未部署在自定义VNet中时，二者之间的Parquet/Delta表读取操作默认通过Microsoft公有骨干网络传输，而非开放的公网互联网。Azure同区域或跨区域的服务间通信，优先走微软内部的专用网络链路，不会绕到公网。

2. 纳入VNet对读取速度的影响 #

将Azure Storage和Azure Databricks部署到同一VNet（或对等互联的VNet），确实可能提升读取速度，尤其是以下场景：

• 大数据量传输时：VNet内的私有网络链路避免了公网的带宽限制与网络波动，稳定性和吞吐量更优。
• 跨区域部署场景：如果原本是跨区域通信，纳入VNet后可通过Azure私有网络骨干优化路由，减少延迟。
• 若之前存在强制公网绕行的特殊配置：纳入VNet后能回归私有链路，消除公网带来的额外延迟。
  如果是同区域默认部署，速度提升可能不明显，但能增强数据传输的安全性与稳定性。

3. 私有端点对传输路径的保障 #

为Azure Storage创建私有端点后，完全可以确保数据读取操作通过Microsoft网络进行：

• 私有端点会为Storage分配VNet内的私有IP，Databricks通过这个私有IP访问Storage，所有流量都局限在Azure的私有网络骨干中，完全不经过公网。
• 即使Databricks未部署在同一VNet，只要配置了正确的网络 peering 或路由规则，也能通过私有端点走Microsoft内部网络完成通信。

内容的提问来源于stack exchange，提问作者knowdotnet