Flink readCsvFile遇UNQUOTED_CHARS_AFTER_QUOTED_STRING错误

• Flink 1.9.2 版本readCsvFile接口底层依赖的旧版CsvInputFormat，存在引号解析逻辑与RFC4180标准不兼容的缺陷：
  • 解析带引号的字段时，只要扫描到下一个独立双引号，就立即判定当前字段读取完成，不会提前识别后续的转义双引号片段
  • 这种逻辑下，字段内嵌套的转义双引号会被判定为“引号字符串结束后的游离字符”，直接触发UNQUOTED_CHARS_AFTER_QUOTED_STRING解析异常
• 同一份CSV可被Spark正常读取的差异原因：Spark内置的CSV解析器默认遵循通用CSV解析规则，支持字段内嵌套转义双引号的识别，两者的解析逻辑未对齐，不是文件本身的格式错误。

路径1：替换解析组件（长期稳定方案） #

• 放弃原有readCsvFile的内置解析逻辑，引入与Java 8、Flink 1.9.2兼容的commons-csv依赖，基于官方CSV读取规则逐行解析后映射到Products样例类
• 解析规则完全对齐Spark的默认行为：
  • 字段分隔符为逗号
  • 引号识别字符为双引号
  • 支持字段内嵌套的转义双引号（连续双引号转义、反斜杠转义两种常见格式）
  • 自动跳过首行表头
  • 按照productId(Int)、productCategoryId(Int)、productName(String)、productDescription(String)、productPrice(Double)、productImage(String)的顺序映射字段

路径2：补全原读取配置参数（快速验证方案） #

• 在原有readCsvFile的配置基础上，补全缺失的转义字符配置：
  • 调用setEscapeCharacter('\\')，显式指定反斜杠为字段内的转义字符
• 注意：该配置在Flink 1.9.2版本存在已知实现缺陷，部分场景下引号闭合判断逻辑早于转义字符识别，补全配置后如果仍报相同错误，直接切换到路径1即可

路径3：离线预处理文件（零代码方案） #

• 批量替换原CSV文件中所有字段内的转义单双引号（比如\"带引号的描述\"），改成符合RFC4180标准的连续双引号格式（比如""带引号的描述""）
• 预处理后的文件可直接用原有readCsvFile配置正常读取，无需调整代码

注意：所有调整都要适配当前Flink 1.9.2的集群运行环境，不要随意升级Flink版本，避免任务提交出现兼容性报错

内容的提问来源于stack exchange，提问作者Erkan Şirin