NiFi QueryRecord处理CSV报列索引不匹配错误的排查修复

该报错的核心逻辑是CSV解析器读取行数据时，仅解析出1个字段值，但表头定义了多列，列数不匹配直接抛出异常。结合当前场景，常见触发原因如下：

• CSV Reader服务分隔符配置错误：高频场景是误将CSV Format选为TDF（制表符分隔格式），或手动把分隔符改成了制表符、空格等非逗号字符，导致逗号分隔的行无法被拆分，整行被识别为单个字段。
• 未开启空行忽略配置：如果CSV文件的开头、中间、尾部存在空行，解析器会把空行识别为仅含1个空值的记录，和表头的4个字段定义冲突。
• 编码配置不匹配：如果CSV实际编码（如GBK、带BOM的UTF-8）和Reader中配置的编码不一致，会导致分隔符、行尾符识别异常，无法正确拆分字段。
• 特殊字符未转义：如果某行字段存在未闭合的引号、未转义的换行符，解析器会跨行拼接内容，导致后续行解析时列数和表头不匹配。

校准CSV Reader服务配置 #

按以下顺序调整配置即可解决90%以上的同类报错：

1. 将CSV Format设置为RFC 4180，确认Delimiter配置值为,（逗号），不要留空或设置为其他字符。
2. 编码选项优先选UTF-8；如果是Windows本地导出的带BOM的CSV文件，选UTF-8 with BOM；如果是国内系统导出的CSV，可切换为GBK测试。
3. 将Ignore Empty Lines设为true，自动跳过文件内所有空行，避免空行触发列数不匹配问题。
4. 将Trim Fields设为true，自动去除字段名、字段值前后的多余空格，避免样例中字段前后的空格导致后续SQL条件匹配失效。

配置QueryRecord分流规则 #

在QueryRecord中新增两个自定义关系，分别写入对应SQL即可实现错误行、正常行分流：

• 错误行关系SQL：SELECT * FROM FLOWFILE WHERE GradeNm LIKE '%999%' OR Price LIKE '%999%'
• 正常行关系SQL：SELECT * FROM FLOWFILE WHERE GradeNm NOT LIKE '%999%' AND Price NOT LIKE '%999%'

异常兜底排查 #

如果调整配置后仍报错，直接查看传入QueryRecord的流文件原始文本内容，确认是否存在未转义的引号、异常换行、文件开头多余不可见字符，排查原始文件的格式问题。

内容的提问来源于stack exchange，提问作者Lewis