Azure不更改Event Hub分区能否配置Stream Analytics输出单个文件

结论 #

可以在不修改Event Hub分区配置的前提下，通过调整Stream Analytics Job的配置实现所有数据统一存储到单个Blob文件。

具体配置方法 #

• 调整输出写入模式：进入Blob输出的配置界面，将写入模式从默认的并行改为串行，同时路径模板中不要加入{partitionId}这类分区占位符，避免按分区拆分输出。
• 降低作业并行度：进入Stream Analytics Job的「缩放」配置页，将流式单元（SU）数量设置为1。单SU运行时作业不会按Event Hub分区拆分执行任务，会自动归并所有分区的流入数据后统一写入输出。
• 调整文件滚动规则：如果你需要尽可能长期写入同一个物理文件，可以将输出配置中的最大行计数、最大写入时间窗口调整为你业务能接受的最大值，只要未触发滚动阈值，数据就会持续写入同一个文件。

约束说明 #

该方案会损失作业处理吞吐量：原本5个分区并行处理的能力会被压缩为单线程处理，仅适合数据流入量较小的场景，高流量场景下容易出现数据积压、处理延迟。
Azure块Blob单文件存在容量上限，最大为4.75TiB（使用4MB块大小时），数据累计超出上限后会自动生成新的文件。

内容的提问来源于stack exchange，提问作者Oleksandr