如何高效查询遥测表中耗时超阈值的请求活动？

问题背景 #

我有一张遥测表，存储了请求ID列表及各请求对应活动的发生时间。单个请求的简化活动序列为：authUser -> processInput -> calculateRate -> returnResponse，平均端到端耗时约3秒。

有时部分请求会在某个活动中停滞过久，我需要找出这些请求（输出为Req_Id、耗时超过阈值的活动）。但表中包含数百万条记录，若按Req_Id排序后使用prev()计算时间差，会因排序内存限制而失败。请问有更优的查询写法吗？

示例输入 #

预期输出 #

input
| where delta_of_activity_duration > 5 second

解决方案 #

核心思路：利用固定活动序列做分组匹配，规避全局排序 #

由于每个请求的活动序列是确定的（authUser -> processInput -> calculateRate -> returnResponse），可以直接按Req_Id分组，将每个活动的时间映射到固定字段，再计算相邻活动的时间差。这种方式仅在分组内处理数据，无需全局排序，内存压力会大幅降低。

以Kusto查询为例：

// 定义活动与后续活动的映射关系
let activity_mapping = datatable(current_activity:string, next_activity:string) [
    "authUser", "processInput",
    "processInput", "calculateRate",
    "calculateRate", "returnResponse"
];
// 按请求ID分组，聚合各活动的发生时间
input
| summarize 
    authUser_time = minif(请求时间, Activity == "authUser"),
    processInput_time = minif(请求时间, Activity == "processInput"),
    calculateRate_time = minif(请求时间, Activity == "calculateRate"),
    returnResponse_time = minif(请求时间, Activity == "returnResponse")
    by Req_Id
// 计算每个活动的耗时：下一个活动的开始时间 - 当前活动的开始时间
| extend 
    authUser_duration = datetime_diff('second', processInput_time, authUser_time),
    processInput_duration = datetime_diff('second', calculateRate_time, processInput_time),
    calculateRate_duration = datetime_diff('second', returnResponse_time, calculateRate_time)
// 将多列耗时数据转置为行，方便统一筛选
| project Req_Id,
    activity_durations = pack_array(
        dynamic({"Activity": "authUser", "耗时(秒)": authUser_duration}),
        dynamic({"Activity": "processInput", "耗时(秒)": processInput_duration}),
        dynamic({"Activity": "calculateRate", "耗时(秒)": calculateRate_duration})
    )
| mv-expand activity_durations to typeof(dynamic)
| evaluate bag_unpack(activity_durations)
// 筛选出耗时超过阈值的记录
| where 耗时(秒) > 5
| project Req_Id, Activity, 耗时(秒)

方案优势 #

1. 内存友好：仅按Req_Id做分组聚合，避免全局排序带来的高内存开销，适配百万级以上的数据集。
2. 性能高效：聚合操作的计算复杂度远低于全局排序，查询执行速度更快。
3. 逻辑直观：利用固定活动序列的特性直接映射时间字段，计算逻辑清晰易懂。

内容的提问来源于stack exchange，提问作者WhatsUp