将本地部署数据存储挂载至Azure Databricks DBFS

核心结论 #

直接将本地Hadoop集群的本地存储挂载到dbfs:///且完全绕过Azure存储账户，从Databricks的原生设计逻辑来说是不支持的——DBFS本质是基于云对象存储（Azure上为ADLS Gen2或Blob Storage）构建的虚拟文件系统，Azure存储账户是Databricks集群运行的必要依赖项（集群创建时必须指定默认存储账户）。

可行替代方案 #

以下是几种无需先手动上传到Azure Blob Storage的对接方式：

• 直接访问Hadoop存储（无需挂载DBFS）
  如果你的Databricks集群与本地Hadoop集群处于同一网络（如通过VPN/ExpressRoute打通本地数据中心与Azure VPC），可以在Databricks worker节点上挂载Hadoop的存储资源：

  1. 在worker节点上通过OS命令挂载Hadoop的NFS共享、HDFS挂载点或本地磁盘（需集群节点有对应权限），例如挂载NFS到/mnt/hadoop-local；
  2. 在Databricks Notebook中通过file://路径直接访问该存储，示例代码：

     dbutils.fs.ls("file:/mnt/hadoop-local")
     

  这种方式不需要将数据同步到DBFS，直接跨集群访问存储资源。

• 用Hadoop DistCp直接同步到DBFS
  如果必须使用DBFS作为数据访问入口，可以通过Hadoop原生的DistCp工具，直接从本地Hadoop HDFS同步数据到DBFS（DBFS路径本质映射到Azure存储的对应位置），无需手动中转到Blob Storage。示例命令：

  hadoop distcp hdfs://<hadoop-cluster-address>/source-path dbfs:/target-path
  

  该命令会直接在Hadoop集群与Databricks的底层Azure存储之间建立数据传输通道。

• 自定义存储适配器（进阶方案）
  Databricks支持通过自定义FUSE挂载插件扩展存储对接能力，但需要开发适配层来将Hadoop存储协议转换为DBFS可识别的接口。此方案复杂度高，需熟悉Databricks挂载机制与Hadoop存储API，适合有定制开发能力的场景。

关键注意事项 #

Azure存储账户是Databricks集群的强制依赖，无法在无Azure存储账户的情况下创建并运行Databricks集群，因此你的场景中必然存在Azure存储账户，只是可以通过上述方案避免手动将数据上传到Blob Storage的步骤。

内容的提问来源于stack exchange，提问作者kumara81205