单Azure Stream Analytics作业多输出场景是否支持查询并行化与分区

基础落地可行性 #

该场景完全可以正常运行，不存在架构层面的兼容性问题：

• ASA原生支持输入输出分区数不对等的部署模式，8分区Event Hub输入、4分区Table Storage+4分区Cosmos DB输出的组合本身符合产品设计逻辑。

最大化并行化与分区收益的必要配置 #

如果要完全发挥分区和并行查询的性能收益，需要做以下3项配置调整，否则会出现数据倾斜、性能下降的问题：

• 首先将ASA作业的流式单元(Streaming Unit, SU) 配置为不低于8，匹配Event Hub的分区数量，保证输入侧的分区消费不会出现资源瓶颈。
• 输出到Table Storage时，需将PartitionKey字段设置为Event Hub分区ID取模4的计算结果，即MOD(PartitionId, 4)，保证数据均匀打散到Table Storage的4个分区，避免出现热分区。
• 输出到Cosmos DB时，先将输出配置的分区键路径设置为你用来做取模计算的字段，再在查询语句中增加PARTITION BY 取模后的分区键子句，让ASA的输出分区和Cosmos DB的物理分区一一对应，实现无shuffle的并行写入。

避坑提示 #

• 不要直接使用Event Hub原始的8个分区ID作为输出侧的分区键，否则会导致4分区的输出存储出现数据倾斜，严重时会触发输出侧限流，完全无法发挥分区收益。
• 如果没有配置查询侧的分区对齐逻辑，ASA会额外执行一次数据shuffle操作，会增加作业处理延迟，也会消耗不必要的计算资源。

内容的提问来源于stack exchange，提问作者Ivan