Azure Stream Analytics作业中多行合并为单行问题求助

问题核心 #

使用GROUP BY后部分列返回null，本质是未选用适配的聚合函数——流式聚合需要能忽略null、保留分组内有效非null值的函数。

具体实现方案 #

假设你的输入是同一业务实体（如同一设备）的多行互补数据（每行仅填充部分字段，其余为null），可通过MAX()或MIN()聚合函数实现合并，这两个函数会自动忽略null值，保留分组内的有效非null值。

示例查询

SELECT
    -- 分组键，比如设备ID
    DeviceId,
    -- 聚合温度字段，保留非null值
    MAX(Temperature) AS Temperature,
    -- 聚合湿度字段，保留非null值
    MAX(Humidity) AS Humidity,
    -- 其他需要合并的字段同理
    MAX(DeviceLocation) AS DeviceLocation
INTO
    [你的输出别名]
FROM
    [你的输入别名]
-- 必须指定时间窗口，确保需合并的行落在同一窗口内，根据业务调整窗口类型和时长
GROUP BY
    DeviceId, TumblingWindow(second, 10)

关键说明 #

1. 时间窗口的必要性：Stream Analytics是流式处理引擎，GROUP BY必须搭配时间窗口（翻滚窗口/滑动窗口/会话窗口等），需根据业务场景设置窗口时长，保证所有待合并的行都被纳入同一分组。
2. 函数适用性：MAX()/MIN()对数值、字符串类型字段均有效，只要分组内目标字段的非null值唯一，就能精准保留该值。
3. 输入数据验证：确认同一分组内的多行数据是互补的（即同一字段不会出现多个不同的非null值），避免聚合结果不符合预期。

内容的提问来源于stack exchange，提问作者Jaykant