Apache NiFi 如何查看各处理器输出并校验JSON转SQL INSERT结果
Apache NiFi 无数据库校验JSON转SQL输出方案
你提到的校验需求完全可以实现,不需要部署可用数据库即可完成验证,具体操作方法如下:
1 直接输出到本地文件核查
该方法可以直观看到所有生成的SQL语句:
- 暂时停用/移除流程中的PutSQL处理器,在原PutSQL的上游节点连接
PutFile处理器 - 配置PutFile的「Directory」参数为本地有权限访问的目录,其余配置保持默认即可
- 启动流程运行,完成后到指定输出目录打开生成的文件,可直接查看所有INSERT语句,逐行核对是否和JSON数组的元素一一对应
2 在NiFi日志中直接查看输出内容
如果不想生成本地文件,可以直接通过NiFi日志核查:
- 在PutSQL的上游节点添加
LogMessage处理器 - 配置LogMessage的「Log Level」为INFO,「Message」参数填写
${literal('生成的SQL语句:')} ${payload:toString()} - 启动流程后,点击NiFi界面右上角的日志图标打开日志面板,即可看到所有生成的SQL语句输出,直接核对即可
3 自动校验数量匹配性
如果JSON数组元素较多,不想逐行核对,可以通过属性比对快速确认转换完整性:
- 在JSON数据还未拆分的节点,添加
EvaluateJsonPath处理器,配置自定义参数json_array_length = $.length(),提取JSON数组的总元素数作为FlowFile的属性 - 在生成INSERT语句后的节点,添加
ExtractText处理器,配置自定义参数insert_count = (?i)INSERT\s+INTO,统计生成内容中INSERT关键词的出现次数作为FlowFile的属性 - 最后添加
RouteOnAttribute处理器,配置路由规则is_matched = ${json_array_length:equals(${insert_count})},匹配成功的FlowFile代表JSON元素数和生成的INSERT语句数完全一致,匹配失败的会走默认路由,可快速识别是否存在漏转换的情况
补充说明:如果你使用
ConvertJSONToSQL处理器生成SQL语句,需要保证上游已经通过SplitJson处理器将JSON数组拆分为单个元素的独立FlowFile再进行转换,才能确保每个JSON元素对应一条独立的INSERT语句。
内容的提问来源于stack exchange,提问作者Andy5
相关产品推荐
相关产品推荐

