使用Python3.12连接无Unity Catalog的Databricks 15.4集群报错求助

在Databricks上创建了使用15.4运行时的共享集群，未启用Unity Catalog。此前使用Python3.9.13搭配Databricks Connect 11.3连接11.3版本集群正常，现公司要求必须使用Python3.12，已安装Databricks Connect 15.4并切换到Python3.12，但执行databricks-connect test时出现以下错误：

pyspark.errors.exceptions.connect.SparkConnectGrpcException: BAD_REQUEST: SingleClusterComputeMode(xxx-xxxx-xxxxx) is not Shared or Single User Cluster. (requestId=dcd4fa22-5cf5-4a42-9e52-c03058f7c32b)
WARNING: All log messages before absl::InitializeLog() is called are written to STDERR
E0000 00:00:1739548060.674965 22836 init.cc:232] grpc_wait_for_shutdown_with_timeout() timed out.

修复当前Spark Connect错误的步骤 #

• 确认集群计算模式：登录Databricks控制台，进入目标共享集群的详情页，检查计算模式是否设置为「共享（Shared）」或「单用户（Single User）」。Spark Connect仅支持这两种计算模式，若集群被误配置为其他模式（如高并发集群），会触发该错误。
• 核对集群ID配置：重新执行databricks-connect configure，确保输入的集群ID与目标共享集群的ID完全一致（可从集群详情页的URL或集群信息中获取）。
• 清理本地缓存并重新测试：执行以下命令清理Spark Connect的本地缓存，再重新运行测试：

  databricks-connect clean
  databricks-connect test
  

无需Unity Catalog的替代连接方案 #

方案1：Databricks CLI + 本地PySpark环境 #

• 安装Databricks CLI v2，完成工作区认证配置（使用个人访问令牌或对应云提供商的身份验证方式）。
• 安装与Databricks 15.4运行时匹配的PySpark版本（15.4对应PySpark 3.5.0，兼容Python3.12）。
• 在VS Code中编写代码后，通过Databricks CLI提交作业到目标共享集群执行，示例命令：

  databricks jobs create --json-file job_config.json
  

  其中job_config.json需指定目标集群ID、脚本路径等参数。

方案2：VS Code Databricks扩展 #

• 在VS Code中安装「Databricks」官方扩展，配置连接到你的Databricks工作区。
• 直接在VS Code中打开集群上的笔记本进行编辑，或本地编写代码后提交到共享集群运行，无需依赖Spark Connect，且支持Python3.12环境。

内容的提问来源于stack exchange，提问作者john