Azure映射数据流写入Delta sink时的分区设置及性能优化咨询

• 上游预生成动态分区路径
  在映射数据流转换阶段提前生成所需的分区键列，比如按日期分区就生成dt=yyyy-MM-dd格式的字段，在Sink输出路径中直接拼接该分区字段值，按Hive风格分区目录写入数据。Delta表可自动识别该目录结构作为官方分区，无需后续额外重分区操作，无额外计算成本。
• 调整Delta文件大小配置
  在映射数据流Delta Sink的配置项中，调整目标文件大小或每个分区最大行数参数，将单个数据文件大小控制在128MB~1GB的Spark最优读写区间，避免小文件过多拖慢查询性能，该配置为数据流原生支持功能，无额外成本。
• ZORDER索引替代高基数分区
  如果你的分区键基数较高（超过10万），本身不适合作为分区字段，可在数据写入完成后，通过Azure Serverless SQL池执行Delta原生OPTIMIZE命令，搭配ZORDER BY 常用查询过滤列，仅合并小文件同时对高频过滤列做排序索引。该操作计算量远低于全量重分区，成本仅为PySpark全量重分区的10%~20%，查询性能提升效果接近分区优化。
• 低频闲时执行合并操作
  对性能要求不高的场景，可选择业务低峰期按需执行小文件合并，进一步压缩计算成本。

内容的提问来源于stack exchange，提问作者Shadman Sadekeen