如何通过Databricks将SFTP文件复制到ADLS？写入失败求更佳方案

核心问题分析 #

当前通过中转DBFS临时目录的方式既增加了额外IO开销，还可能因ADLS权限配置、路径协议错误导致写入失败。最优思路是跳过临时目录，直接实现SFTP到ADLS的同步，以下两种方案适配不同场景：

方案1：使用Spark SFTP连接器直接读写（大文件/批量场景推荐） #

利用Databricks原生Spark能力，直接从SFTP读取文件并写入ADLS，全程无需本地中转，效率最高。

实现步骤 #

1. 安装SFTP依赖（在Notebook中执行）

%pip install spark-sftp

2. 配置SFTP与ADLS参数

# SFTP服务器配置
sftp_host = "你的SFTP地址"
sftp_port = 22
sftp_username = "SFTP用户名"
sftp_password = "SFTP密码"  # 生产环境建议用私钥认证
remote_file_path = "/home/folder/my_files"

# ADLS目标路径（必须使用abfss协议）
adls_target_path = "abfss://<容器名>@<存储账户名>.dfs.core.windows.net/目标文件夹/"

3. 直接同步文件到ADLS

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("SFTP_to_ADLS").getOrCreate()

# 读取SFTP文件（支持csv/parquet等格式，按需调整）
df = spark.read.format("sftp") \
    .option("host", sftp_host) \
    .option("port", sftp_port) \
    .option("username", sftp_username) \
    .option("password", sftp_password) \
    .option("path", remote_file_path) \
    .load()

# 写入ADLS（mode可选append/overwrite，格式按需调整）
df.write.format("parquet") \
    .mode("overwrite") \
    .save(adls_target_path)

方案2：pysftp直接写入ADLS（小文件场景适配） #

如果仅处理少量小文件，可直接读取SFTP文件内容，通过ADLS SDK写入目标路径，无需中转DBFS。

代码示例 #

import pysftp
from azure.storage.filedatalake import DataLakeServiceClient

# SFTP配置
sftp_host = "你的SFTP地址"
sftp_username = "SFTP用户名"
sftp_password = "SFTP密码"
remote_folder = "/home/folder/my_files"

# ADLS配置
adls_account_name = "你的存储账户名"
adls_account_key = "你的存储账户密钥"
adls_container = "容器名"
adls_target_folder = "目标文件夹/"

# 初始化ADLS客户端
service_client = DataLakeServiceClient(
    account_url=f"https://{adls_account_name}.dfs.core.windows.net",
    credential=adls_account_key
)
fs_client = service_client.get_file_system_client(file_system=adls_container)

# 连接SFTP并直接上传
with pysftp.Connection(host=sftp_host, username=sftp_username, password=sftp_password) as sftp:
    sftp.cwd(remote_folder)
    for file_name in sftp.listdir():
        # 读取SFTP文件内容
        with sftp.open(file_name, 'rb') as remote_file:
            file_content = remote_file.read()
        
        # 写入ADLS
        file_client = fs_client.get_file_client(f"{adls_target_folder}{file_name}")
        file_client.upload_data(file_content, overwrite=True)

常见故障排查 #

• ADLS写入失败：检查ADLS是否已正确挂载到Databricks、存储账户权限是否足够（需Blob存储 contributor角色）、路径是否使用abfss://协议（禁止用临时DBFS路径）。
• SFTP连接超时：确认Databricks集群所在VPC与SFTP服务器网络连通（开放22端口），优先使用SSH私钥认证替代密码。

内容的提问来源于stack exchange，提问作者Mr_Unchained