Azure Data Factory同步SQL DB数据到Blob存储生成tar文件报错如何解决

报错根因 #

你触发报错的核心原因是：tar本身属于归档格式而非压缩格式，多数数据集成工具（如Azure Data Factory等）不支持直接将tar作为压缩类型搭配压缩级别使用，参数校验不通过就会触发运行错误，而ZIPflate是标准压缩格式，符合参数规则所以可以正常运行。

可落地解决方法 #

方法1：调整同步任务压缩/归档配置（无额外开发成本，优先尝试） #

• 如果业务需要的是带压缩的tar归档包（即.tar.gz/.tgz格式，也是行业内最常用的tar压缩格式），调整配置如下：
  • 归档格式选择Tar
  • 压缩类型选择GZip
  • 压缩级别保持optimal
    该参数组合是所有主流数据集成工具原生支持的配置，输出的文件完全符合tar压缩的业务要求。
• 如果业务需要的是无压缩的纯.tar归档文件，直接将压缩级别调整为None，仅保留归档格式为Tar即可。

方法2：增加后置打包逻辑（适配特殊版本兼容性问题） #

如果调整配置后仍然报错，大概率是你使用的工具版本存在Tar格式兼容bug，可以通过后置处理实现需求：

1. 先将SQL DB的数据正常同步到Blob存储，输出为未压缩的原始业务文件（如CSV、Parquet等格式）
2. 新增一个轻量计算任务（如Azure Functions、定时脚本等），执行tar打包命令，示例命令参考：

# 打包单个原始文件为tar.gz压缩包
tar -zcvf 业务输出文件名.tar.gz 同步生成的原始文件.csv
# 打包多个原始文件为tar.gz压缩包
tar -zcvf 业务输出文件名.tar.gz 原始文件1.csv 原始文件2.csv 路径/*

3. 打包完成后按需清理原始未压缩文件即可。

额外校验点 #

• 升级你使用的数据集成工具到最新稳定版本，部分旧版本确实存在Tar归档格式的参数校验bug，升级后即可直接兼容方法1的配置
• 确认输出文件的后缀和配置匹配，避免出现格式与后缀不匹配的问题

内容的提问来源于stack exchange，提问作者SUCHENDRA REDDY