Azure中如何通过外部表导出单个文件而非多个文件

问题根因 #

你当前通过CETAS（CREATE EXTERNAL TABLE AS SELECT）导出数据生成多文件，是分布式计算架构的正常表现：每个计算节点会独立输出自己负责的分片数据，所以最终会生成和并行计算分片数对应的文件。同事提到的TOP语句方案本质是把所有数据汇总到控制节点单线程写入，340GB数据使用该方案会出现控制节点资源耗尽、任务耗时过长甚至失败的问题，不建议使用。

最优CETAS优化方案（保留最高导出性能） #

如果你希望继续使用性能最优的外部表导出方式，可以通过以下配置控制输出文件数量，不需要用TOP语句：

• 调整源数据分布：导出前先将源表数据写入临时表，设置临时表的分布方式为ROUND_ROBIN，同时根据你期望的单个文件大小调整资源分配。比如分配大资源类（如xlargerc）给执行导出的账号，降低并行度，最终输出的文件数会大幅减少，340GB数据可控制在几十个体积均匀的分片文件，远优于零散小文件的状态。
• 若必须输出单个文件，可将SELECT语句修改为SELECT * FROM live_view.calendar ORDER BY 任意排序字段 OFFSET 0 ROWS，该语法同样会触发单节点汇总写入，但相比无逻辑的TOP语句稳定性更高。注意340GB单文件的写入、读取、传输效率都非常低，非强需求不建议使用。
• 临时关闭压缩配置：如果要生成单文件，可先移除DATA_COMPRESSION = N'org.apache.hadoop.io.compress.GzipCodec'配置，导出完成后再对单个文件做压缩，比单线程写入压缩文件的效率高30%以上。

其他可行导出方案 #

如果你接受其他导出方式，可选择更灵活的托管服务实现需求：

• 使用Azure数据工厂（ADF）复制活动：源配置为你当前使用的数据库，目标配置为Blob存储的CSV格式，可直接在复制活动的Sink设置中开启单文件输出选项，支持断点续传，340GB数据可稳定运行，还可配置定时重跑等逻辑。
• 使用Azure Databricks导出：通过JDBC读取源表数据后，可通过coalesce(N)的语法灵活控制输出的文件数量，可直接写入带gzip压缩的CSV格式到Blob存储，适合需要自定义数据处理逻辑的场景。

注意：大多数大数据分析工具、ETL工具都支持直接读取目录下的多个分片CSV文件，非特殊要求下不需要强制导出为单个文件，多分片的读写、传输效率远高于340GB级别的单CSV文件。

内容的提问来源于stack exchange，提问作者Rezil