Databricks Runtime 13.3无Unity Catalog时，如何使用Databricks Connect？

1. 安装匹配版本的Databricks Connect包 #

确保安装的Databricks Connect版本和你的集群Runtime版本完全匹配（比如13.3.x对应Runtime 13.3），执行命令：

pip install databricks-connect==13.3.*

2. 配置连接时禁用Unity Catalog校验 #

• 运行配置命令：

  databricks-connect configure
  

  按提示逐步输入集群信息，当询问是否启用Unity Catalog时，选择No。
• 如果已经配置过，直接修改本地配置文件：
  • Linux/macOS：编辑~/.databricks-connect
  • Windows：编辑%USERPROFILE%\.databricks-connect
    添加或修改一行：

  enable_unity_catalog = false
  

3. 调整集群配置以启用Databricks Connect #

编辑你的13.3版本集群：

• 进入「Advanced options」→「Spark」标签页
• 在Spark配置中添加以下参数：

  spark.databricks.service.server.enabled true
  

• 保存并重启集群

4. 编写测试代码验证连接 #

使用以下简单代码测试连接是否正常，无需添加任何Unity Catalog相关配置：

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

# 执行简单SQL测试
test_df = spark.sql("SELECT current_date() AS today")
test_df.show()

5. 验证连接状态 #

执行命令检查连接是否成功：

databricks-connect test

如果测试通过，就可以正常在IDE中使用Databricks Connect了。

内容的提问来源于stack exchange，提问作者Vladimir Vilimaitis