如何实现本地spark-shell对接Databricks集群运行REPL

直接把Databricks工作区URL拼在spark-shell --master后面是连不通的：Databricks集群没有对外暴露原生Spark Standalone的master服务端口，所有对外请求都要走带鉴权的专属网关，原生Spark的master通信协议和网关协议不兼容，直接连必然报连接错误。
你之前调研的dbx是任务打包、部署调度用的工具，本身不带交互式REPL能力；Databricks Connect是能实现需求的，只是很多人不知道它默认支持直接启动交互式shell，不是没有对应功能。 #

方案1：Databricks Connect对接（官方原生支持，日常用最稳） #

这个方案体验和本地跑spark-shell连自建集群完全一致，所有代码输入在本地终端，计算、元数据访问、任务调度全跑在远端Databricks集群上，不需要改集群侧配置：

• 本地安装和目标Databricks集群Runtime版本严格匹配的Databricks Connect客户端，大版本不一致100%连不上，比如集群跑DBR 13.3LTS（对应Spark 3.4）就装同版本的客户端。
• 用Databricks CLI配置好三个必填参数：工作区地址、个人访问令牌（PAT）、要绑定的集群ID，配完跑databricks-connect test验证连通性，没报错就是通了。
• 连通后直接在本地终端执行spark-shell就行，不要手动加--master参数——Databricks Connect会自动注入适配Databricks网关的master配置，手动指定地址反而会覆盖配置导致连接失败。

  实测支持所有spark-shell原生交互能力：直接写Spark代码、执行SQL、调用UDF、看执行计划都和本地shell无差别，返回结果直接打印在本地终端。

方案2：SSH端口隧道转发（适合需要完全自定义本地Spark环境的场景） #

如果你必须用自己本地下载的标准Spark发行版启动shell、要手动指定master参数，可以走SSH隧道打通本地到集群的网络：

• 先在Databricks集群安全配置里开启SSH访问，把你本地的SSH公钥上传到集群允许的密钥列表。
• 本地建SSH隧道，把集群内部的Spark master端口（默认7077）、driver通信端口、block manager端口全部映射到本地端口。
• 补全对应Databricks版本的依赖包、鉴权参数，启动时指定--master spark://localhost:你映射的本地7077端口，就能把任务提交到远端集群。

  这个方案配置非常麻烦，集群重启后驱动节点IP会变，隧道就得重建，端口映射也经常被安全组、防火墙规则打断，只适合临时调试，不适合长期日常用。

方案3：直接在集群驱动节点启动shell（零配置，调试效率最高） #

如果你只是需要REPL的交互体验，不要求shell进程跑在本地机器上，直接走Databricks网页终端或者SSH连到集群驱动节点，执行spark-shell就能拉起原生绑定当前集群的交互式环境，不需要做任何额外配置，网络延迟比本地连接低很多，是临时调试代码最快的方式。 #

常见踩坑点 #

• 所有本地直连Databricks集群的请求都必须带有效的个人访问令牌，无令牌的请求会被网关直接拦截
• 不要硬套自建Spark集群的连接逻辑，Databricks做了一层网关封装，原生的spark master直连方式不做适配根本走不通
• Databricks Connect启动的shell默认会把本地的代码依赖自动同步到集群，不需要每次手动打jar包上传，日常写调试代码足够用。

内容的提问来源于stack exchange，提问作者Kombajn zbożowy