AWS IoT Core规则SQL引发Lambda接收数据异常问题排查

核心原因推测 #

AWS IoT Core的SQL查询在将topic() AS topic与通配符*组合使用时，可能对原始消息中的嵌套数组结构（如Gateways）或字段投影顺序存在解析bug，导致输出的JSON结构异常，进而使得Lambda接收到的数据格式混乱、字段缺失。

排查与解决步骤 #

1. 验证规则输出是否已异常
   用AWS IoT Core的规则测试功能，导入原始完整消息作为测试输入，执行SELECT topic() AS topic, * FROM 'lora/#'，查看规则输出的payload：

   • 如果输出已经缺失设备信息、PayloadData，且Gateways数组变为对象，说明问题出在IoT Core的SQL解析环节，和Lambda无关。
   • 如果输出正常，再排查Lambda的事件处理逻辑（根据描述，这种概率极低）。

2. 切换AWS IoT Core SQL版本
   旧版本的IoT Core SQL（如2016-03-23）在处理自定义函数（如topic()）与通配符*组合时存在兼容性问题：

   • 进入IoT Core规则编辑页面，找到“SQL版本”选项，切换为2020-04-08版本，重新测试规则输出。

3. 显式指定字段而非使用通配符*
   避免直接用*和topic() AS topic并列，改为显式列出所有需要的字段，比如：

   SELECT topic() AS topic, deviceInfo, payloadData, gateways, otherNeededFields FROM 'lora/#'
   

   这样可以强制IoT Core正确解析每个字段的结构，避免数组被错误转化为对象。

4. 调整字段投影顺序
   尝试将*放在topic() AS topic之前，修改SQL为：

   SELECT *, topic() AS topic FROM 'lora/#'
   

   部分场景下，投影顺序会影响IoT Core对嵌套结构的解析优先级，调整后可能恢复正常。

5. 检查原始消息是否存在字段冲突
   确认原始消息中是否存在名为topic的字段：

   • 如果原始消息本身包含topic字段，topic() AS topic会覆盖该字段，可能触发后续解析逻辑异常。这种情况下可以将别名改为其他名称，比如SELECT topic() AS mqtt_topic, * FROM 'lora/#'。

内容的提问来源于stack exchange，提问作者MikeF