通过ADF将SFTP中200GB.gz格式数据复制到ADLS Gen2的技术咨询

1. 数据集格式选择：二进制格式 #

必须选二进制格式，原因如下：

• CSV格式用于解析结构化文本数据，会尝试读取.gz文件的解压内容，不仅完全没必要，还可能因无法解析压缩格式导致复制失败。
• 二进制格式会原样复制文件的字节流，完全保留原文件的.gz扩展名和压缩内容，完美匹配你的需求。

2. ADF中最快的复制方式 #

用复制活动搭配以下优化设置，是ADF里最快的方案：

• 源和目标数据集都配置为二进制类型，确保无额外解析逻辑。
• 启用并行复制，调整并行度参数（最大可设为100，具体值根据SFTP服务器的带宽上限、ADLS的吞吐量来调整，避免压垮源服务器）。
• 若SFTP服务器处于私有网络，使用自托管集成运行时（Self-hosted IR）代替托管IR，减少跨公网的延迟和带宽损耗。
• 目标ADLS优先使用托管身份验证或SAS密钥，避免频繁的认证开销。
• 不要启用任何数据转换、列映射或压缩/解压选项，保持纯文件复制流程。

3. ADF不合适时的替代工具 #

如果ADF不符合你的场景（比如需要更灵活的命令行控制、更低的配置成本），可以选择以下工具：

• AzCopy：微软官方的高速传输工具，直接支持SFTP到ADLS的批量复制，命令示例：

  azcopy copy "sftp://[用户名]:[密码]@[SFTP服务器地址]/[源路径]/*.gz" "https://[ADLS账户名].dfs.core.windows.net/[容器名]/[目标路径]" --recursive --overwrite=ifNewer
  

  支持断点续传、并行传输，性能远高于多数通用工具，是大文件传输的首选。
• Azure CLI：结合sftp命令行工具先下载到本地临时存储，再用az storage blob upload-batch批量上传到ADLS，适合有本地中转资源的场景。
• WinSCP命令行模式：通过脚本实现SFTP到ADLS的批量传输，适合熟悉WinSCP操作的用户，但大规模传输性能略逊于AzCopy。
• PowerShell脚本：使用PSSFTP模块下载文件，再用Azure PowerShell模块上传到ADLS，适合需要自定义逻辑的场景，但200GB量级下效率不如AzCopy。

内容的提问来源于stack exchange，提问作者Anonymous