Spark读取MySQL及Parquet时无法识别非空约束问题咨询

1. JDBC读取时字段全可空的原因 #

Spark通过JDBC读取MySQL数据时，默认不会自动同步数据库表的NOT NULL约束。这是因为MySQL JDBC驱动返回的元数据中，nullable标识未被Spark正确解析，或者Spark JDBC数据源的默认逻辑未启用约束同步，导致生成的DataFrame所有字段默认标记为nullable=true。

你之前用createDataFrame转换Schema的方式可以临时解决，但更高效的做法是读取JDBC时直接指定Schema，避免后续转换开销：

// 定义与MySQL表约束匹配的Schema
val customerSchema = StructType(listOf(
    StructField("id", IntegerType, nullable = false),
    StructField("name", StringType, nullable = false),
    StructField("name_2", StringType, nullable = true),
    StructField("surname", StringType, nullable = false),
    StructField("gender", StringType, nullable = false),
    StructField("email_address", StringType, nullable = false),
    StructField("phone_number", StringType, nullable = true),
    StructField("date_birth", DateType, nullable = false),
    StructField("date_join", DateType, nullable = false),
    StructField("address_street", StringType, nullable = false),
    StructField("address_street2", StringType, nullable = true),
    StructField("address_city", StringType, nullable = false),
    StructField("address_state", StringType, nullable = false),
    StructField("address_postal_code", StringType, nullable = false),
    StructField("address_country_iso_2", StringType, nullable = false)
))

// 读取时直接传入Schema
val customerDf = spark.read
    .schema(customerSchema)
    .jdbc("jdbc:mysql://$host:$port/$database", "t_customer", props)

2. Parquet写入后读取字段变可空的原因 #

这不是Spark的bug，而是Spark Parquet数据源的默认容错设计：Spark会忽略Parquet文件中的required约束，将所有字段标记为nullable=true。这样设计是为了避免因Parquet数据损坏、版本兼容问题导致读取失败，优先保证数据能正常加载。

如果需要读取Parquet时保留原有的nullable约束，有两种可行方案：

方案一：读取时手动指定Schema #

这是最推荐的方式，虽然Parquet存储了元数据，但手动指定Schema能明确约束，同时避免Spark的默认容错逻辑影响：

val readDf = spark.read
    .schema(Customer.SCHEMA)
    .parquet("path/to/parquet/files")

方案二：修改Spark配置（不推荐） #

可以通过关闭向量化读取来强制Spark遵循Parquet的nullable约束，但会显著降低读取性能，仅适合测试场景：

// 在SparkSession初始化时配置
spark.conf.set("spark.sql.parquet.enableVectorizedReader", "false")

总结 #

你的操作本身没有错误，核心问题是Spark的JDBC和Parquet数据源的默认行为导致的约束丢失。通过读取JDBC时指定Schema+读取Parquet时指定Schema的组合方式，既符合数据约束要求，也能保证Spark作业的性能和稳定性。

内容的提问来源于stack exchange，提问作者anthis