Spark同步Cosmos DB数据到Snowflake报非空字段空值错误如何解决

问题根因 #

报错是因为Cosmos DB读取时推断的Schema中存在标记为非空（nullable=false）的字段，但实际数据中该字段存在空值，写入Snowflake时触发空值校验失败。你之前的配置恰好搞反了核心参数：spark.cosmos.read.inferSchema.forceNullableProperties设为false是强制属性非空，和需求完全相反。

修复方案 #

方案1：修正Cosmos读取配置 #

旧版azure-cosmosdb-spark连接器的配置需要放到readConfig的Map中才会生效，单独加在ss.read.option不会被识别，修正后的配置如下：

val readConfig = Config(Map(
      "Endpoint" -> endpoint,
      "Masterkey" -> cosmosKey,
      "Database" -> cosmosSourceDB,
      "Collection" -> cosmosSourceCollection,
      "ReadChangeFeed" -> "false",
      "query_custom" -> cosmosQuery,
      // 新增以下配置，强制所有推断的字段为可空类型
      "spark.cosmos.read.inferSchema.enabled" -> "true",
      "spark.cosmos.read.inferSchema.samplingSize" -> "10000",
      "spark.cosmos.read.inferSchema.forceNullableProperties" -> "true"
    ))
val df = ss.read.cosmosDB(readConfig)

方案2：手动强制转换所有字段为可空（兼容性最高） #

如果配置不生效，可以直接手动修改DataFrame的Schema，强制所有字段为可空类型，完全规避推断Schema导致的非空问题：

import org.apache.spark.sql.types._

// 递归将所有字段的nullable属性设为true
def makeSchemaNullable(schema: StructType): StructType = {
  StructType(schema.map { field =>
    field.dataType match {
      case st: StructType => field.copy(dataType = makeSchemaNullable(st), nullable = true)
      case at: ArrayType => field.copy(dataType = ArrayType(makeSchemaNullable(at.elementType.asInstanceOf[StructType]), at.containsNull), nullable = true)
      case _ => field.copy(nullable = true)
    }
  })
}

// 应用到读取的DataFrame
val nullableDF = ss.createDataFrame(df.rdd, makeSchemaNullable(df.schema))

之后用nullableDF代替原df写入Snowflake即可。

方案3：写入Snowflake时添加兼容配置 #

可以在Snowflake写入选项中添加空值兼容配置，降低校验严格度：

val sfOptions = Map(
    "sfURL" -> "***.snowflakecomputing.com",
    "sfUser" -> sfUser,
    "sfRole" -> sfRole,
    "pem_private_key" -> pem_private_key,
    "sfDatabase" -> sfDatabase,
    "sfSchema" -> sfSchema,
    "sfWarehouse" -> sfWarehouse,
    // 新增兼容配置
    "sfSortOnUpload" -> "false",
    "sfNullNonString" -> "true"
 )

排查验证 #

修复前可以先执行df.printSchema()查看输出，确认标记为nullable = false的字段，验证修复后这些字段的nullable属性是否变为true。

内容的提问来源于stack exchange，提问作者AaronLi