在Databricks中创建无Spark Connect的Spark Session，解决reduce报错问题

问题根源 #

你遇到的reduce方法无法使用的报错，是因为当前默认的Spark Session是Spark Connect模式——这种客户端API不支持RDD的底层集群操作（比如reduce），必须切换到传统的集群本地Spark Session。

解决方案步骤 #

1. 检查当前Session类型 #

先执行代码确认当前Session是否为Spark Connect：

# Python代码
print(spark.sparkContext._jsc.sc().getClass().getName())

// Scala代码
println(spark.sparkContext.getClass.getName)

如果输出包含SparkConnect字样，验证了问题根源。

2. 创建独立的非Spark Connect Session #

在Databricks中，需先停止当前Session，再重新构建禁用Spark Connect的Session：

Python版本

# 停止当前Session
spark.stop()

# 构建新Session
from pyspark.sql import SparkSession
spark = SparkSession.builder \
    .appName("LocalSparkSession") \
    .config("spark.sql.connect.enabled", "false") \
    .getOrCreate()

Scala版本

// 停止当前Session
spark.stop()

// 构建新Session
import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder()
    .appName("LocalSparkSession")
    .config("spark.sql.connect.enabled", "false")
    .getOrCreate()

3. 验证修复效果 #

测试reduce方法是否正常工作：

# Python测试
test_rdd = spark.sparkContext.parallelize([1,2,3,4])
print(test_rdd.reduce(lambda a,b: a+b))  # 预期输出10

// Scala测试
val testRdd = spark.sparkContext.parallelize(Seq(1,2,3,4))
println(testRdd.reduce(_ + _))  // 预期输出10

4. Databricks Notebook快捷方案 #

如果不想写代码重建Session，可直接在Notebook的Session设置（UI右上角Session选项）中关闭Spark Connect，然后重启Notebook，平台会自动创建传统集群Session。

内容的提问来源于stack exchange，提问作者Martin Storm