如何检查Azure DLS Gen2容器写入速度？流场景多序列化格式性能测试

一、检测写入速度 #

• 基于Event Hubs与Stream Analytics的速率指标
  直接利用两者的内置监控指标：Event Hubs的传入消息速率/传入字节数可作为输入基准；Stream Analytics的输入事件速率/输出事件速率能对应到处理后的数据量。结合输出文件的生成时间窗口，用「窗口内输出总字节数/窗口时长」计算平均写入速度（如MB/s）。
• 文件名时间戳统计
  在Stream Analytics输出配置中，给文件名加入时间模板（比如output-{datetime:yyyy-MM-dd-HH-mm}.avro），通过统计相同时间窗口内生成的文件总大小，除以窗口时长得到稳定的写入速度数据。

二、检测延迟 #

• 端到端延迟精准计算
  在上游生产者发送事件时，给每条事件添加事件生成时间戳字段（比如event_created_at），Stream Analytics处理时保留该字段并写入输出文件。事后取文件中事件的event_created_at与文件生成时间的差值，统计中位数、95分位、99分位延迟，直接反映序列化写入环节的耗时。
• 利用Stream Analytics内置延迟指标
  查看作业的端到端延迟指标（事件从进入Event Hubs到输出完成的总耗时），减去处理延迟指标（Stream Analytics业务逻辑处理耗时），可近似得到序列化写入的延迟。另外输出事件延迟指标也能辅助判断输出环节的耗时波动。

三、其他关键对比指标 #

• 资源占用率
  查看Stream Analytics作业的CPU使用率/内存使用率指标，对比不同序列化格式下的资源消耗差异；如果是配合自定义处理逻辑（如Azure Functions），同步查看对应服务的CPU、内存指标。
• 压缩效率
  计算「原始数据总大小/输出文件总大小」得到压缩比，结合文件大小和写入速度，综合评估空间与性能的权衡。
• 数据完整性
  对比Event Hubs的传入消息数与Stream Analytics的输出事件数，确保不同序列化格式下无数据丢失。

四、借助Event Hubs + Stream Analytics的落地步骤 #

1. 搭建标准化测试环境
   • 用Azure SDK编写事件生产者，以固定速率（如1000条/秒）向Event Hubs发送结构一致的测试数据，保证输入稳定。
   • 创建多个Stream Analytics作业，每个作业对应一种序列化输出格式（Avro、Parquet等），输入均指向同一Event Hubs，查询逻辑保持完全一致（直接转发事件，排除业务逻辑干扰），且作业的SU数量、配置完全相同，确保对比公平性。
2. 启用并导出监控数据
   • 在Azure门户的Stream Analytics和Event Hubs监控面板，添加所需指标（输入/输出速率、延迟、CPU/内存使用率等）。
   • 将监控数据导出到Log Analytics，用Kusto查询做批量分析，例如：

     AzureMetrics
     | where ResourceProvider == "Microsoft.StreamAnalytics"
     | where MetricName in ("InputEventsRate", "OutputEventsRate", "EndToEndLatency")
     | where Resource == "your-sa-job-name"
     | summarize avg(MetricValue) by MetricName, bin(TimeGenerated, 5m)
     

3. 批量分析输出文件
   • 用PowerShell或Python脚本批量读取输出文件的生成时间、大小，以及文件内的事件时间戳，自动计算写入速度、延迟等指标，减少人工统计误差。

注意事项 #

• 每种格式的测试时长至少保持30分钟，取稳定运行阶段的指标，排除冷启动的性能波动。
• 测试期间避免调整作业配置或输入速率，确保数据的可比性。

内容的提问来源于stack exchange，提问作者Itachi07