如何在Databricks中自动将spark和dbutils传入.py文件？

以下两种方案可以让你不用在调用函数时手动传递spark和dbutils：

方案一：在Python模块中直接获取SparkSession并导入dbutils #

修改subfolder/awesome.py的代码，显式获取当前活跃的SparkSession，并直接导入dbutils：

from pyspark.sql import SparkSession
from databricks import dbutils

def somefunction(parameterC):
    # 获取当前活跃的SparkSession实例
    spark = SparkSession.getActiveSession()
    
    # 后续正常使用spark、dbutils和parameterC
    # used spark in this function
    # used dbutils in this function
    # used parameterC in this function
    # create a spark view at the end
    return None

主笔记本调用时只需要传业务参数：

from subfolder import awesome

awesome.somefunction(parameterC)

优点：代码逻辑独立，不依赖外部全局注入，符合Python模块开发规范。

方案二：在主笔记本中全局注入spark和dbutils #

在主笔记本的开头，把spark和dbutils注册到系统模块命名空间中，让子模块可以直接引用：

import sys
# 把全局的spark和dbutils注册为可导入的模块
sys.modules['spark'] = spark
sys.modules['dbutils'] = dbutils

from subfolder import awesome
awesome.somefunction(parameterC)

此时awesome.py无需修改参数，直接使用spark和dbutils即可：

def somefunction(parameterC):
    # 直接使用spark和dbutils，无需传入
    # used spark in this function
    # used dbutils in this function
    # used parameterC in this function
    # create a spark view at the end
    return None

优点：无需修改原有模块代码，快速实现需求；缺点：依赖全局注入，在多环境或复杂项目中可能存在命名冲突风险。

内容的提问来源于stack exchange，提问作者Clutch_Dude