Spark配置badRecordsPath读取CSV时所有记录被判定为坏记录的原因

使用预定义Schema通过Spark读取CSV文件时，初始代码可正常加载数据：

df = (spark.read.format("csv")
        .schema(schema)
        .option("sep", ";")
        .load(
            file_path,
            header=True,
            encoding="utf-8"))

但添加badRecordsPath配置后，所有记录都被写入坏记录路径，无有效记录加载，错误信息为MALFORMED_CSV_RECORD (SQLSTATE: KD000)，且Schema与之前完全一致。

1. 参数传递位置触发解析逻辑异常 #

Spark部分版本中，load()方法传入的header、encoding等参数，无法被badRecordsPath对应的坏记录处理逻辑正确识别。例如表头会被当作数据行进行Schema校验，而表头字符串不符合数值/日期等Schema类型，导致所有行被判定为坏记录。

解决方法：将所有配置参数统一通过.option()方法设置，而非放在load()中：

df = (spark.read.format("csv")
        .schema(schema)
        .option("sep", ";")
        .option("header", "true")
        .option("encoding", "utf-8")
        .option("badRecordsPath", bad_records_path)
        .load(file_path))

2. 启用badRecordsPath后解析严格度提升 #

未启用badRecordsPath时，Spark CSV解析器会对部分格式瑕疵做兼容处理（比如字段前后空格、非标准换行符、未转义的引号），但启用坏记录捕获后，解析器切换到更严格的校验模式，这些之前被忽略的问题会触发MALFORMED_CSV_RECORD错误。

解决方法：

• 查看坏记录文件的具体内容，对比正常数据行，排查是否存在隐藏字符、换行符不一致（如\r\n vs \n）或未转义引号等问题。
• 添加针对性的解析选项：
  • 若存在未转义引号：.option("quote", "\"").option("escape", "\"")
  • 若字段值有前后空格：.option("trim", "true")

3. Spark版本兼容性问题 #

早期Spark版本（如2.x系列）对badRecordsPath的CSV支持不完善，存在正常记录被误判的情况。

解决方法：升级Spark到3.x及以上版本，新版本对坏记录捕获的逻辑做了优化，兼容性更好。

4. Schema与实际数据的隐性不匹配 #

虽然Schema结构一致，但可能存在数据类型的隐性不兼容：比如部分行的字段值包含特殊字符（如带千分位逗号的数值），未启用badRecordsPath时Spark自动转换，启用后严格校验导致失败。

解决方法：

• 检查坏记录中的具体错误详情（坏记录文件通常会包含错误原因和原始行数据）。
• 针对数据类型调整Schema或添加解析选项，比如数值类型添加.option("locale", "en_US")处理千分位格式。

内容的提问来源于stack exchange，提问作者Tarique