Apache NiFi RouteOnAttribute表达式与日志问题求助

核心问题 #

你用错了处理器的作用：RouteOnAttribute是针对整个流文件的属性做路由判断，不是逐行处理文件内容的。直接把整个CSV文件传给它，它只会把整个文件当成一个判断单元，自然无法实现逐行过滤的效果。

正确处理流程 #

步骤1：拆分CSV为单行流文件 #

先用SplitText处理器把整个CSV文件拆成一行一行的独立流文件：

• 设置Line Split Count为1，确保每行成为一个单独的流文件
• 如果需要保留表头，设置Header Line Count为1，表头会被单独输出到original关系，后续可合并到结果中

步骤2：逐行判断并路由 #

方式1：用RouteOnAttribute（适合无特殊格式的简单CSV）

配置RouteOnAttribute的路由规则：

• 新增路由规则Valid_Rows，表达式写：

  ${field.value:split(','):get(2):notEquals('I')}
  

  （解释：split(',')把行按逗号拆分，get(2)取第3列（索引从0开始，identity是第3列），notEquals('I')筛选出非'I'的行）
• 新增路由规则Invalid_Rows，表达式写：

  ${field.value:split(','):get(2):equals('I')}
  

连接关系：

• Valid_Rows → MergeRecord（将多行合并回CSV文件）→ PutFile（输出文件夹）
• Invalid_Rows → LogAttribute → PutFile（错误文件夹）
• 若拆分出了表头，把SplitText的original关系（表头）也连接到MergeRecord，确保结果保留表头

方式2：用ConvertRecord+RouteRecord（适合带转义的复杂CSV）

如果CSV存在引号包裹、逗号转义等情况，split(',')会失效，推荐用规范的Record处理方式：

1. 用ConvertRecord把CSV格式转换成结构化格式（如Avro/JSON），需先创建CSV Reader Controller Service，配置好列名和分隔符
2. 用RouteRecord处理器，设置路由条件：
   • 有效行规则：identity != 'I'
   • 无效行规则：identity == 'I'
3. 再用ConvertRecord把结构化格式转回CSV，最后输出到对应文件夹

调试技巧 #

在SplitText之后加一个LogAttribute处理器，勾选field.value属性，这样就能在nifi-app.log里看到每行的具体内容，以及后续表达式解析的结果，方便验证判断逻辑是否正确。

内容的提问来源于stack exchange，提问作者ashK