使用JQ解析Amazon Firehose JSON流时动态分区表达式报错排查

问题出在Firehose对JQ表达式的语法要求上：虽然你的条件表达式在JQ Playground中可以正常运行，但Firehose的JQ执行环境要求表达式必须是完整的过滤表达式，不能直接以if关键字开头。

具体原因 #

JQ Playground会自动将输入数据传递给表达式，所以裸的if...then...else...end可以被识别为针对输入的逻辑判断；但Firehose的JQ解析器需要显式声明表达式是基于输入数据的过滤操作，缺失这个上下文会被判定为语法错误。

修复后的表达式 #

给原表达式加上.（代表输入本身）和管道符|，将条件逻辑转换为完整的过滤器：

• 判断数据流类型：

  . | if has("metric") then "metric" else "report" end
  

• 提取k1字段值：

  . | if has("metric") then .metric.k1 else .report.k1 end
  

可选简洁写法 #

也可以用JQ的//（默认值）运算符简化逻辑，效果相同：

• 判断数据流类型：

  .metric // .report | if . == .metric then "metric" else "report" end
  

• 提取k1字段值：

  (.metric // .report).k1
  

内容的提问来源于stack exchange，提问作者Abhi