You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

在Databricks跨Notebook调用含dbutils的自定义函数时出现NameError: name 'DBUtils' is not defined错误的解决咨询

在Databricks跨Notebook调用含dbutils的自定义函数时出现NameError: name 'DBUtils' is not defined错误的解决咨询

这个问题我之前也碰到过,本质是dbutils是Databricks为每个Notebook会话生成的内置对象,但跨Notebook导入函数时,被导入的Notebook不会自动继承当前会话的dbutils上下文,所以函数里找不到这个对象。给你两个实用的解决思路:

方法1:将dbutils作为参数传入函数(推荐)

这种方式最灵活,也符合函数的依赖注入原则,避免函数依赖全局环境。修改你的函数定义,把dbutils作为第一个参数:

def access_storage_account(
    dbutils,
    service_credential_key = "client-secret",
    secretscopename = "key",
    storage_account = "dlsdevhr",
    key_dir_id = "tenant-id",
    key_app_id = "client-id"
):
    directory_id = dbutils.secrets.get(scope = f"{secretscopename}", key = key_dir_id)
    # 这里写剩下的存储账户访问逻辑

然后在调用这个函数的Notebook里,直接把当前会话的dbutils传进去就行:

# 假设你的函数定义在名为"storage_utils"的Notebook里
%run "./storage_utils"
# 或者用import方式(需要先把Notebook转为模块)
from storage_utils import access_storage_account

access_storage_account(dbutils)

方法2:在函数所在的Notebook里显式初始化dbutils

如果不想修改函数参数,可以在定义函数的Notebook开头,手动创建dbutils实例,这样导入函数时会自动初始化:

from pyspark.dbutils import DBUtils
from pyspark.sql import SparkSession

# 先获取当前会话的SparkSession
spark = SparkSession.builder.getOrCreate()
# 基于SparkSession创建dbutils实例
dbutils = DBUtils(spark)

def access_storage_account(
    service_credential_key = "client-secret",
    secretscopename = "key",
    storage_account = "dlsdevhr",
    key_dir_id = "tenant-id",
    key_app_id = "client-id"
):
    directory_id = dbutils.secrets.get(scope = f"{secretscopename}", key = key_dir_id)
    # 其他逻辑...

注意事项

  • 如果你用%run方式导入Notebook,要确保被导入的Notebook里没有多余的全局执行代码(比如直接运行的单元格),否则会在导入时自动执行,可能带来意外问题
  • 第二种方法依赖SparkSession的存在,Databricks Notebook默认会自动创建,但如果是特殊环境(比如作业模式),最好确认SparkSession能正常获取

备注:内容来源于stack exchange,提问作者Alexis Kan

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.04.21 15:08:05