如何在Azure Databricks中使用dbutils在abfss创建空白文件

Python内置的open()函数只能处理本地文件系统路径，无法直接识别Databricks的abfss分布式存储路径，这就是你报错的核心原因。下面提供两种可行的解决方案：

方法1：使用dbutils.fs.put直接操作 #

这是最直接的方式，支持创建文件并写入内容：

# 先创建空白文件（若文件已存在则覆盖）
dbutils.fs.put(manifestfilePath, "", overwrite=True)

# 写入文件名到文件中（如果需要追加内容，将append设为True）
file_name = manifestfilePath.split("/")[-1]
dbutils.fs.put(manifestfilePath, file_name, append=True)

• overwrite=True参数确保目标文件不存在时自动创建，存在时覆盖原有内容
• 若只需写入文件名无需先创建空白文件，可直接合并成一步：dbutils.fs.put(manifestfilePath, file_name, overwrite=True)

方法2：使用Spark API（适合批量场景） #

如果需要处理批量文件或更复杂的写入逻辑，可借助Spark的DataFrame写入：

from pyspark.sql import Row

# 提取目标文件名
file_name = manifestfilePath.split("/")[-1]
# 创建包含文件名的DataFrame
df = spark.createDataFrame([Row(content=file_name)])

# 写入到目标目录（Spark文本写入默认输出到目录，需指定目录路径而非文件名）
target_dir = manifestfilePath.rsplit("/", 1)[0]
df.selectExpr("content")\
  .write\
  .mode("overwrite")\
  .text(target_dir)

# 若需要指定精确文件名，可将Spark生成的文件移动到目标路径
generated_file = dbutils.fs.ls(target_dir)[0].path
dbutils.fs.mv(generated_file, manifestfilePath)

注意事项 #

• 确保当前Databricks集群拥有目标abfss路径的访问权限（需配置存储账户的相应权限，比如Blob存储贡献者）
• 确认abfss路径格式正确：abfss://<容器名>@<存储账户名>.dfs.core.windows.net/<子路径>/<文件名>

内容的提问来源于stack exchange，提问作者Raj R