能否通过Spark配置将CSV表头与Schema不匹配警告设为错误并终止操作？

可以通过Spark配置实现将该警告升级为错误，触发任务终止，具体分两种方式：

1. 单读取任务级配置 #

在读取CSV文件时，通过option指定相关配置，仅对当前读取操作生效：

Python示例 #

df = spark.read \
    .option("header", "true") \
    .option("spark.sql.csv.header.schemaMismatch.failOnError", "true") \
    .schema(your_schema) \
    .csv("path/to/your.csv")

Scala示例 #

val df = spark.read
    .option("header", "true")
    .option("spark.sql.csv.header.schemaMismatch.failOnError", "true")
    .schema(yourSchema)
    .csv("path/to/your.csv")

2. 全局配置 #

如果需要所有CSV读取任务都生效，可以在Spark配置中全局设置：

方式一：代码中配置SparkConf #

Python示例

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("CSV Schema Check") \
    .config("spark.sql.csv.header.schemaMismatch.failOnError", "true") \
    .getOrCreate()

Scala示例

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder
    .appName("CSV Schema Check")
    .config("spark.sql.csv.header.schemaMismatch.failOnError", "true")
    .getOrCreate()

方式二：修改集群配置文件 #

在集群的spark-defaults.conf中添加以下配置，重启Spark服务后全局生效：

spark.sql.csv.header.schemaMismatch.failOnError true

版本说明 #

上述内置配置仅适用于Spark 3.2及以上版本。如果使用更低版本的Spark，无法通过内置配置实现，需要手动校验：

1. 单独读取CSV的表头行
2. 提取Schema中的字段名列表
3. 对比两者，若存在不匹配则手动抛出异常终止任务

内容的提问来源于stack exchange，提问作者Marc Le Bihan