在Databricks中，`spark.*`与`spark.sql()`的来源及本地测试问题

1. spark.sql()的来源解析 #

spark.sql()中的spark并不是pyspark.sql.session模块，而是**SparkSession类的实例对象**：

• pyspark.sql.session是包含SparkSession类的模块，sql()是SparkSession类的成员方法，而非模块本身的属性。所以直接导入pyspark.sql.session模块并调用.sql会触发AttributeError。
• 在Azure Databricks中，平台会自动初始化一个SparkSession实例，并将其绑定到全局变量spark上，因此你无需手动创建或导入，直接就能调用spark.sql()。

验证这一点可以执行以下代码：

# 查看spark的类型
type(spark)
# 输出应为：<class 'pyspark.sql.session.SparkSession'>

2. 本地开发无Spark环境的解决方案 #

方案一：安装PySpark本地模式 #

通过Poetry直接安装PySpark，在pyproject.toml中添加依赖：

[tool.poetry.dependencies]
python = "^3.8"
pyspark = "^3.5.0"

安装后可在本地启动SparkSession的本地模式测试：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .master("local[*]") \
    .appName("LocalTest") \
    .getOrCreate()

# 测试spark.sql
spark.sql("SELECT 1 as test").show()

方案二：Mock模拟Spark对象 #

如果不需要实际执行Spark逻辑，仅验证代码结构，可用unittest.mock模拟相关对象：

from unittest.mock import Mock, MagicMock

# 模拟SparkSession实例
spark = Mock()
spark.sql = MagicMock(return_value=Mock(show=lambda: print("Mocked result")))

# 测试代码
spark.sql("SELECT * FROM test").show()

方案三：使用Databricks Connect #

Databricks Connect可让本地代码连接到远程Databricks集群执行逻辑，无需本地Spark环境，可通过官方配置文档完成搭建。

3. Poetry安装PySpark的注意事项 #

Poetry可以直接安装标准PySpark包，不存在“spark作用域无法安装”的问题。如果是指Databricks集群中的自定义库，可通过Databricks CLI将包上传到集群，或本地开发时依赖标准PySpark，部署到Databricks时再适配集群环境。

内容的提问来源于stack exchange，提问作者ardaar