Synapse Analytics：能否通过serverless SQL CETAS实现CSV文件Zip压缩

• 首先给出明确结论：当前Serverless SQL的CETAS功能不支持直接输出Zip格式的压缩包，仅支持gzip、snappy等原生分布式压缩算法，针对CSV文件也无法直接完成Zip打包操作
• CETAS目前支持的导出格式与压缩能力如下：
  • 仅支持输出Parquet、CSV、JSON三种文件格式
  • 对应可配置的压缩算法仅为gzip、snappy（snappy仅适用于Parquet和JSON格式），CSV文件仅可配置gzip压缩输出分片文件

该限制源于CETAS的底层分布式执行逻辑：CETAS导出由多节点并行写出分片文件，而Zip格式属于归档类压缩，需要单节点完成文件聚合、打包操作，和Serverless SQL的分布式导出架构不兼容，因此官方未规划相关支持能力。

• 如果你希望尽可能复用Serverless SQL的能力降低管道负载，可以采用以下组合方案：
  1. 先通过CETAS将查询结果导出为gzip压缩的CSV分片文件，存储到目标存储账户的临时路径下
  2. 再调用集成管道的压缩活动，将临时路径下的所有CSV分片打包为Zip压缩包，存储到最终路径
     该方案比纯管道全流程处理的性能更高，尤其在原始数据量较大时，Serverless SQL的查询导出效率远高于管道的复制活动。

内容的提问来源于stack exchange，提问作者gyang