安装databricks-connect后PySpark无法运行，报AttributeError求解决

报错的核心是find_spark_home.py脚本尝试查找本地PySpark的安装路径，但你未安装PySpark，导致find_spec("pyspark")返回None，进而触发AttributeError。而Databricks Connect的设计逻辑是无需本地安装PySpark，它通过远程连接Databricks集群来执行Spark代码，直接运行pyspark命令本身就不符合其使用方式。

具体解决方案 #

• 不要直接执行pyspark命令，改用Python脚本调用PySpark API
  Databricks Connect已经提供了PySpark的API绑定，你可以编写Python脚本并通过python命令运行，示例脚本：

  from pyspark.sql import SparkSession
  
  # 初始化SparkSession（会自动连接到配置好的Databricks集群）
  spark = SparkSession.builder.getOrCreate()
  
  # 测试代码
  df = spark.range(10)
  df.show()
  
  # 关闭会话
  spark.stop()
  

  执行命令：python your_test_script.py

• 验证Databricks Connect配置正确性
  确保已经执行过databricks-connect configure，并正确填写以下信息：

  • Databricks工作区URL（如https://<your-workspace>.cloud.databricks.com）
  • 个人访问令牌（PAT）
  • 集群ID
  • 端口（9.1 LTS版本默认是15001）

• 检查环境变量配置
  确认Windows系统的环境变量设置正确：

  • JAVA_HOME指向Java 8的安装路径，且已添加到PATH
  • HADOOP_HOME指向Hadoop 3.3.4的安装路径，且已添加到PATH
  • 无需手动设置SPARK_HOME（Databricks Connect会自动处理远程集群的Spark环境）

• 确认版本匹配
  确保你的Databricks Connect版本（9.1 LTS）与目标Databricks集群的版本完全一致，版本不匹配会导致连接或API调用失败。

内容的提问来源于stack exchange，提问作者the phoenix