Apache NiFi读取CSV并查询PostgreSQL流程故障求助

以下是针对你遇到问题的具体排查和解决步骤：

• 检查CSV Reader的表头解析配置
  确认GetFile之后的CSV Record Reader配置：

  • 把Header Line Count设为1，勾选Ignore Header Line，确保表头ID,UUID被正确识别为字段名，而不是被当作数据行。
  • 如果自动字段识别失效，手动在Field Names中填写ID,UUID，强制指定字段名，避免出现column_0这类默认命名导致后续无法匹配。

• 验证QueryRecord的路由与字段名大小写

  • NiFi的属性和字段名是大小写敏感的！如果QueryRecord分支的SQL是SELECT ID FROM flowfile，那么字段名是大写ID，你需要用${ID}而非${id}来引用。如果要统一用小写id，可以修改SQL为SELECT ID AS id FROM flowfile。
  • 在QueryRecord之后添加LogAttribute处理器，开启Log Payload和Log Attributes，直接查看FlowFile的属性和内容，确认ID或id字段是否存在、值是否正确。

• 注意QueryRecord的输出格式
  QueryRecord默认输出的是Record格式的FlowFile，字段内容并不在FlowFile属性中，直接用${id}引用自然会为空。解决办法：

  • 在QueryRecord之后添加RecordToAttribute处理器，配置将id（或ID）字段转为FlowFile属性，这样后续就能用${id}正常引用。
  • 或者改用ExecuteSQLRecord处理器，它可以直接从Record格式的FlowFile中读取字段值用于查询，无需转成属性。

• 修正ExecuteSQL的查询语句格式
  如果alert表的pid是字符串类型，查询语句需要给变量加单引号：SELECT * FROM alert WHERE pid = '${id}'；如果是数值类型，确保ID的内容可以正常转为对应数值，避免类型不匹配导致的查询失败。

• 排查UpdateAttribute的表达式
  如果你用UpdateAttribute提取ID，要使用Record Path语法：${record:getValue('ID')}（对应大写字段名）或${record:getValue('id')}（对应小写别名），直接写${ID}是去属性里找，而不是从Record内容中提取。

内容的提问来源于stack exchange，提问作者Roberto Gimenez