Azure Databricks集成本地Unix文件系统加载数据至ADLS Gen2咨询

目前生产环境常用的落地路径分两类，可根据自身网络条件、运维能力选择：

方案1：Azure Data Factory（ADF）编排方案（生产环境优先选） #

这个方案不需要把Databricks整个集群网段直接打通到本地，安全边界更清晰，运维成本低。

• 前置准备
  • 本地Unix侧开启SFTP服务（大部分Unix发行版默认预装，不需要额外部署复杂组件），创建专属数据访问账号，仅给需要处理的目标文件目录分配只读权限，不要开放根目录或其他无关业务目录权限。
  • 找一台同时能访问本地Unix SFTP端口、能连通Azure服务的机器（Linux/Windows都支持），部署自托管集成运行时（Self-hosted IR），不需要在Unix本机安装任何代理，只要这台IR节点和Unix网络连通即可。如果已经有专线/VPN连接Azure，直接把IR节点放在本地内网和Azure通的网段就行，不需要额外开放公网端口。
• 管道配置逻辑
  1. ADF新建SFTP类型源数据集，绑定刚才部署的自托管IR，填好Unix的IP、SFTP端口、访问凭据，先测试连通性。
  2. 管道里添加Databricks Notebook活动，不需要提前把Unix文件全量拷贝到DBFS，ADF会自动把文件路径、访问上下文传给Notebook，直接在Notebook里读入文件做转换即可。
  3. 数据处理完成后直接在Notebook里写入ADLS Gen2，参考代码：

     # 处理完成后写入ADLS Gen2
     final_df.write.mode("overwrite").parquet("abfss://<你的容器名>@<你的存储账号名>.dfs.core.windows.net/<目标存储路径>")
     

  4. 后续需要做增量同步、定时调度、失败告警、数据血缘追踪，直接在ADF里配置对应功能即可，不用额外开发脚本。

方案2：Databricks直连Unix方案（适合临时查询、轻量处理场景） #

这个方案不需要搭建ADF管道，但是要求本地Unix网段和Databricks所在VNet直接打通（站点到站点VPN或者ExpressRoute专线都支持，禁止走公网裸连），保证Databricks集群所有节点都能访问到Unix的服务端口。

• 连接方式选SFTP最省事，Databricks原生带SFTP连接器，不需要安装第三方依赖：
  1. 集群高级配置里把SFTP访问的凭据存在集群环境变量里，不要硬编码在代码里，也可以直接关联Azure Key Vault读取凭据。
  2. 直接在Notebook里读取Unix上的文件，参考代码：

     # 直连Unix SFTP读取文件
     source_df = spark.read.format("com.databricks.spark.sftp") \
       .option("host", "<本地Unix内网IP>") \
       .option("port", "22") \
       .option("user", "<Unix数据访问账号>") \
       .option("password", "<对应账号密码>") \
       .option("sshHostKeyVerification", "false") \
       .option("fileType", "csv") # 根据实际文件类型调整，支持parquet、json、txt等
       .option("header", "true") \
       .load("<Unix上目标文件的绝对路径>")
     

• 如果Unix开了NFS服务，也可以在集群启动脚本里添加NFS挂载命令，把Unix目标目录直接挂到DBFS路径下，挂载完之后和访问DBFS原生文件没有区别，直接读取对应DBFS路径即可。但这个方式需要给集群节点开放对应挂载权限，安全配置复杂，生产环境不推荐。
• 数据读入后完成清洗转换，和方案1一样直接写入ADLS Gen2即可。

生产环境踩坑提醒 #

• 所有访问凭据（Unix账号密码、ADLS访问密钥）统一存在Azure Key Vault里，不要硬编码在Notebook、管道配置中，避免凭据泄露。
• 不要把Unix的SFTP、NFS端口直接暴露到公网，优先走专线/内网打通，必须走公网的话要严格配置IP白名单，仅放通对应服务的出口IP。
• 做增量同步的时候不要每次全量扫描Unix目录，提前约定文件命名规则（比如按业务日期分区命名），每次只读取新增时间范围内的文件，减少跨网传输的带宽压力。
• 给Unix侧的访问账号只开最小权限，默认只读，绝对不要分配写、删除权限，避免代码bug误删本地生产文件。

内容的提问来源于stack exchange，提问作者RKS