AWS EventBridge管道：自建Kafka事件过滤器失效问题排查

原始事件内容： #

{"topic":"aaa","partition":16,"offset":108687,"timestamp":1721654305109,"timestampType":"CREATE_TIME","key":"MzM4NjU5ODAwOA==","value":"eyJldmVudElkIjoiMzA4NjMwZGQtMzFmZi00OWQ0LWI4YTEtNGU1NzBiOGE0YTQwIiwiZXZlbnRUeXBlIjoiT1JERVJfUkVBRFlfRk9SX0ZVTEZJTExNRU5UIiwiZXZlbnREYXRlIjoiMjAyNC0wNy0yMlQxMzoxODoyNC42MzNaIn0=","headers":[]},"bootstrapServers":"aaa","eventSource":"SelfManagedKafka","eventSourceKey":"aaa"}

配置的过滤器规则： #

{"value.detailType":["ORDER_READY_FOR_FULFILLMENT"]}

以下是可能导致过滤器不匹配的原因：

• 字段名称与路径不匹配：事件中的value是Base64编码字符串，解码后实际字段为eventType而非过滤器中指定的detailType。解码后的value内容如下：

  {
    "eventId": "308630dd-31ff-49d4-b8a1-4e570b8a4a40",
    "eventType": "ORDER_READY_FOR_FULFILLMENT",
    "eventDate": "2024-07-22T13:18:24.632Z"
  }
  

  过滤器规则中的value.detailType路径不存在，自然无法匹配目标值。

• Base64编码未自动解析：如果过滤器所在的服务未配置自动解码Kafka消息的value字段，过滤器会直接对原始Base64字符串进行结构匹配，而非解码后的JSON对象，导致无法识别嵌套字段。

• 事件JSON格式错误：原始事件JSON存在语法问题——headers字段的右大括号后直接拼接了"bootstrapServers"等字段，正确结构应将所有字段包含在同一个顶层对象内。格式错误可能导致服务无法正确解析事件结构，过滤器也就无法正常工作。

• 过滤器语法不符合服务要求：不同工具对JSON路径过滤器的语法有不同规范，比如是否需要特殊的路径前缀、分隔符格式等，若规则写法不符合对应服务的要求，也会导致匹配失败。

内容的提问来源于stack exchange，提问作者kkleczek