使用databricks-connect时，本地IDE如何让文件操作访问DBFS？

问题原因 #

Databricks Notebook运行在集群节点上，节点通过FUSE挂载将DBFS映射到了本地路径/dbfs，所以open等本地文件操作可以直接访问DBFS内容。但Databricks-Connect是本地客户端与集群远程通信，本地环境没有挂载DBFS，因此open、shutil等函数默认访问的是本地文件系统，而非集群的DBFS。

可行解决方案 #

1. 直接使用dbutils.fs API替代本地文件操作

Databricks提供的dbutils.fs可以直接对DBFS进行读写操作，无需依赖本地文件系统：

# 写入文件
dbutils.fs.put('dbfs:/tmp/test_file.txt', 'line_1', overwrite=True)

# 读取文本文件内容
content = dbutils.fs.head('dbfs:/tmp/test_file.txt')
print(content)

# 读取二进制文件（如gzip）
binary_content = dbutils.fs.read('dbfs:/tmp/test.gz')
# 后续可直接用gzip模块处理字节流
import gzip
with gzip.GzipFile(fileobj=bytes(binary_content)) as f:
    decompressed = f.read().decode('utf-8')

2. 使用Databricks SDK for Python操作DBFS

如果需要更灵活的程序化操作，推荐使用官方SDK：

from databricks.sdk import WorkspaceClient

# 初始化客户端（会自动读取databricks-connect的配置）
client = WorkspaceClient()

# 写入文件
client.dbfs.put(path='dbfs:/tmp/test_file.txt', contents=b'line_1', overwrite=True)

# 读取文件
file_content = client.dbfs.read(path='dbfs:/tmp/test_file.txt').decode('utf-8')
print(file_content)

# 复制/移动文件（替代shutil功能）
client.dbfs.cp(from_path='dbfs:/tmp/test_file.txt', to_path='dbfs:/tmp/test_copy.txt', recursive=False)

3. 临时同步DBFS文件到本地再操作

如果必须使用open、shutil等标准库函数，可以先将DBFS文件下载到本地临时目录，操作完成后再上传回DBFS：

import tempfile
import os
import shutil

# 下载DBFS文件到本地临时路径
local_temp_path = tempfile.mktemp()
dbutils.fs.cp('dbfs:/tmp/test_file.txt', f'file:{local_temp_path}')

# 执行本地文件操作
with open(local_temp_path, 'r') as f:
    print(f.read())

# 如果有修改，上传回DBFS
shutil.copy(local_temp_path, '/local/path/modified_file.txt')
dbutils.fs.cp(f'file:/local/path/modified_file.txt', 'dbfs:/tmp/test_file.txt', overwrite=True)

# 清理本地临时文件
os.unlink(local_temp_path)

内容的提问来源于stack exchange，提问作者Rodan