在SiddhiQL中实现事件消息与百条预定义子串匹配的最优方案

针对你有100条预定义字符串，需要检查输入事件消息是否包含其中任意一条作为子串的场景，我推荐下面两种高效的实现方案，你可以根据实际需求选择：

方案1：使用预定义表+Join匹配（适合字符串需要动态更新的场景） #

如果你的预定义字符串可能需要后续添加、修改或者删除，这种方案最灵活：

• 创建存储预定义字符串的表
  首先创建一个表来保存所有需要匹配的子串，后续维护时不用修改查询逻辑，只需要更新表数据即可：

CREATE TABLE KeywordTable (keyword STRING);

然后通过INSERT INTO语句把100条预定义字符串批量插入到这个表里：

INSERT INTO KeywordTable VALUES ('keyword1'), ('keyword2'), ..., ('keyword100');

• 编写匹配查询
  通过Join操作关联输入事件流和关键字表，只要事件消息包含任意一个关键字，就输出匹配结果，还能追踪到具体匹配的关键字：

@App:name('SubstringMatchApp')
@App:description('Match input messages against predefined keywords')

-- 定义输入事件流
DEFINE STREAM InputEventStream (message STRING, eventTimestamp LONG);

-- 匹配逻辑：当message包含KeywordTable中的任意keyword时，输出匹配事件
@info(name='KeywordMatchQuery')
INSERT INTO MatchedEventStream
SELECT i.message, i.eventTimestamp, k.keyword AS matchedKeyword
FROM InputEventStream i
JOIN KeywordTable k
ON CONTAINS(i.message, k.keyword);

这里用到的CONTAINS()是Siddhi内置的字符串匹配函数，专门用于检查子串存在性，性能稳定且易用。

方案2：使用正则表达式聚合（适合字符串固定不更新的场景） #

如果你的100条预定义字符串是固定不变的，把它们聚合为一个正则表达式进行一次性匹配会更高效：

• 构建正则表达式
  将所有预定义字符串用|（逻辑或）连接起来，注意如果字符串包含正则特殊字符（比如., *, ?等），需要先进行转义。最终的正则串格式类似：keyword1|keyword2|...|keyword100（已转义特殊字符）。

• 编写匹配查询
  直接在查询中使用REGEX_MATCHES()函数完成批量匹配，这种方式查询简洁，性能更优：

@App:name('RegexSubstringMatchApp')
@App:description('Match input messages against fixed predefined keywords using regex')

DEFINE STREAM InputEventStream (message STRING, eventTimestamp LONG);

@info(name='RegexMatchQuery')
INSERT INTO MatchedEventStream
SELECT message, eventTimestamp
FROM InputEventStream
WHERE REGEX_MATCHES(message, 'keyword1|keyword2|...|keyword100');

不过这个方案无法直接获取具体匹配的关键字，如果需要追踪匹配项，方案1会更合适。

额外优化建议 #

• 对于方案1，为了提升Join的匹配速度，可以给KeywordTable的keyword字段设置主键（相当于创建索引）：

CREATE TABLE KeywordTable (keyword STRING) PRIMARY KEY (keyword);

• 如果输入事件量很大，可以开启Siddhi的分区处理，或者调整事件处理的并发参数，避免匹配流程出现卡顿。
• 无论选择哪种方案，都建议测试边界场景，比如消息为空、关键字为空、关键字包含特殊字符等情况，确保逻辑的健壮性。

内容的提问来源于stack exchange，提问作者Vishal Gaikwad