Azure Databricks中导入pyspark.dbutils模块报错的解决方法

问题原因 #

pyspark.dbutils这个模块根本不存在——DBUtils是Databricks平台的专属工具类，不属于Apache Spark官方的pyspark包，所以从pyspark下导入必然报错。

解决方法 #

方法1：直接使用内置的dbutils对象（推荐）

在Azure Databricks的Notebook和作业环境中，dbutils是默认全局可用的，不需要手动导入或初始化。直接删掉错误的导入和初始化代码即可：

from pyspark.sql import SparkSession

def myfunc(..., spark: SparkSession):
    for file in dbutils.fs.ls(folder):
        # 你的业务逻辑代码
        ...

方法2：从Databricks SDK导入（特殊场景用）

如果你的Python文件需要在特定场景下显式导入dbutils，改用databricks.sdk.runtime路径导入：

from pyspark.sql import SparkSession
from databricks.sdk.runtime import dbutils

def myfunc(..., spark: SparkSession):
    for file in dbutils.fs.ls(folder):
        # 你的业务逻辑代码
        ...

内容的提问来源于stack exchange，提问作者bayerb