使用databricks-connect提交SparkApplication时Spark driver运行位置问询

1. Spark Driver 运行宿主位置 #

你的假设不成立，Spark Driver 不会运行在你的私有服务器上。
databricks-connect采用瘦客户端-集群服务端的分离架构：

• 你的私有服务器上仅运行轻量的databricks-connect客户端SDK，负责序列化你编写的Spark操作逻辑、向Databricks集群提交作业请求、接收集群返回的作业状态与小批量结果数据
• 真正的Spark Driver、Executor全量核心进程均运行在Databricks托管的集群节点上，任务调度、资源分配、Shuffle协调等Spark核心逻辑全部在Databricks侧完成。

2. 本地可查看.show()结果的相关疑问 #

这个现象不能推导为你使用了传统Spark的Client模式、Driver驻留在私有服务器，二者有本质差异：
你在本地能看到.show()的输出，是因为Databricks侧的Spark Driver完成全量计算后，会将.show()要求返回的小批量结果（默认上限20行）通过网络回传给你本地的databricks-connect客户端，再打印到本地终端，仅属于结果同步行为。
传统Spark Client模式下，Driver确实运行在作业提交节点上，需要和集群所有Executor节点保持网络连通，承担全流程的任务调度、中间状态管理职能；而databricks-connect的本地客户端完全不具备这些核心职能，也不需要和Databricks集群的Executor节点直接连通，仅需要和Databricks控制面、集群服务端口保持连通即可。

内容的提问来源于stack exchange，提问作者Gohmz