Unity Catalog工作区spark.sparkContext报错：非SparkSession成员，求解决

问题原因 #

在Databricks Runtime 13.3 LTS（对应Spark 3.3版本）中，spark.sparkContext已被标记为过时，且在Shared访问模式+Unity Catalog的集群环境下，直接访问sparkContext属性会被限制，从而触发编译错误。

解决方案 #

可以通过以下两种方式获取Hadoop配置，进而初始化FileSystem对象，且代码不依赖dbutils，可跨平台通用：

方式1：使用SparkSession的sparkContext()方法（推荐） #

Spark 3.0+提供了sparkContext()方法替代直接访问属性，修改后的代码如下：

import org.apache.hadoop.fs.{FileSystem, Path}
val fs = FileSystem.get(spark.sparkContext().hadoopConfiguration)

方式2：直接提取SparkSession的Hadoop配置 #

如果上述方式仍存在问题，可直接从SparkSession中获取Hadoop配置：

import org.apache.hadoop.fs.{FileSystem, Path}
val hadoopConf = spark.sessionState.newHadoopConf()
val fs = FileSystem.get(hadoopConf)

兼容性验证 #

这两种实现方式均不依赖Databricks专属工具，可在启用Unity Catalog的Databricks集群、普通Databricks集群，以及其他Spark兼容平台（如EMR、本地Spark环境）中正常运行。

额外注意事项 #

• 确保集群已配置对应云存储的访问权限（如S3的IAM角色、ADLS的服务主体等），否则FileSystem对象无法正常访问存储资源。
• 在Shared访问模式下，避免修改全局Hadoop配置，防止影响其他用户的作业运行。

内容的提问来源于stack exchange，提问作者Nikunj Kakadiya