如何通过Apache NiFi实现与Redis Stack/RedisJSON的Set和Get操作？

核心问题分析 #

原有NiFi基础Redis处理器（如RedisPut/RedisGet）仅支持标准Redis命令，无法直接调用RedisJSON扩展的JSON.*系列命令，这是导致原有方案失效的根本原因。

可行解决方案 #

1. 使用RedisExecuteCommand处理器执行RedisJSON命令

这是最直接的适配方案，该处理器允许自定义任意Redis命令，完美兼容Redis Stack的扩展模块：

• 处理器配置：
  • 选择RedisExecuteCommand，复用已配置好的Redis连接池（确保连接正常）。
  • 在Command属性中填写RedisJSON命令，例如存储JSON用JSON.SET，读取用JSON.GET。
  • 通过Arguments属性传递命令参数：
    • 存储示例：mykey . '{"name":"test","value":123}'，其中mykey为键名，.表示JSON根路径，最后是合法JSON字符串。
    • 若JSON内容来自FlowFile，可通过表达式语言引用，比如${filename} . ${file.content}（需提前确保内容为标准JSON格式）。
• 前置校验：先用ValidateJson处理器校验FlowFile中的JSON格式，避免因格式错误导致命令执行失败。

2. 确认Redis Stack模块加载状态

确保Redis Stack已正确加载RedisJSON模块：

• 登录Redis CLI执行MODULE LIST，确认输出中包含rejson模块。
• 若未加载，需在Redis配置文件中添加loadmodule /path/to/rejson.so（根据实际文件路径调整），重启Redis服务生效。

3. 调试与排障

• 开启RedisExecuteCommand处理器的DEBUG级日志，查看Redis返回的具体错误信息（如命令语法错误、权限不足等）。
• 若Redis启用了ACL，需确保NiFi使用的账号拥有JSON.*命令的执行权限，可通过ACL SETUSER nifi-user on >password ~* +JSON.*配置权限。

4. 复杂场景：用Lua脚本封装逻辑

如果需要多步RedisJSON联动操作，可通过RedisExecuteScript处理器执行Lua脚本：

• 示例Lua脚本（存储并返回JSON）：

redis.call('JSON.SET', KEYS[1], '.', ARGV[1])
return redis.call('JSON.GET', KEYS[1])

• 在NiFi中配置脚本参数：KEYS设为目标键名，ARGV设为FlowFile中的JSON内容。

内容的提问来源于stack exchange，提问作者Mohammadreza Khedri