Mongo Spark Connector转换异常：DATE_TIME无法转为NullType求助

你遇到的MongoTypeConversionException: Cannot cast DATE_TIME into a NullType异常，本质是因为Mongo集合中某列同时存在NULL和TIMESTAMP类型数据，而你使用的mongo-spark-connector_2.11:2.2.1版本在遇到类型冲突时，默认会将该列推断为StringType，后续执行转换或df.count()时就会触发类型不匹配的报错。下面给你两种针对性的解决方案：

方案一：手动指定Spark Schema强制类型解析 #

这是最直接且可靠的方案，通过预先定义Schema，明确指定有问题列的类型为TimestampType，让Spark跳过自动类型推断，直接按你定义的规则解析数据（NULL值会被正常识别为对应类型的null）。

示例代码（Scala）：

import org.apache.spark.sql.types.{StructType, StructField, TimestampType, StringType, IntegerType}

// 自定义Schema，将混合类型的列明确设为TimestampType
val targetSchema = StructType(Seq(
  StructField("document_id", IntegerType, nullable = true),
  StructField("create_time", TimestampType, nullable = true), // 这里是存在NULL+TIMESTAMP的列
  StructField("description", StringType, nullable = true)
))

// 读取Mongo数据时传入自定义Schema
val mongoDf = spark.read
  .format("com.mongodb.spark.sql.DefaultSource")
  .option("uri", "mongodb://your-host:27017/your-db.your-collection")
  .schema(targetSchema) // 关键参数：指定Schema
  .load()

// 现在执行count()或转换操作就不会报错了
mongoDf.count()

方案二：先按默认StringType读取，再转换为TimestampType #

如果不想全量定义Schema，也可以先让连接器按默认规则将该列读取为StringType，再通过Spark的内置函数转换为TimestampType，同时保留NULL值：

示例代码：

import org.apache.spark.sql.functions.{to_timestamp, try_cast}

// 按默认方式读取数据（此时混合类型列会被转为StringType）
val rawDf = spark.read
  .format("com.mongodb.spark.sql.DefaultSource")
  .option("uri", "mongodb://your-host:27017/your-db.your-collection")
  .load()

// 方式1：直接转换（要求字符串是标准Timestamp格式）
val convertedDf = rawDf.withColumn("create_time", to_timestamp(col("create_time")))

// 方式2：安全转换（如果存在格式异常的字符串，会转为null而不报错）
val safeConvertedDf = rawDf.withColumn("create_time", try_cast(col("create_time"), TimestampType))

版本注意事项 #

你使用的2.2.1版本连接器的类型冲突处理逻辑确实是将冲突类型转为StringType，如果后续有机会升级到更高版本（比如3.x以上），连接器对混合类型的处理会更灵活，但在当前版本下，上述两种方案都能有效解决你的问题。

内容的提问来源于stack exchange，提问作者Sagar Rakshe