Spark df.take(1)报‘year 0 is out of range’错误原因排查

核心原因 #

你设置了inferSchema=True，Spark在读取数据时会自动尝试推断列类型。当遇到0001-01-01-00或0001-01-01-00.00.00.000000这类字符串时，Spark会将其推断为Timestamp/Date类型，但这类值对应的年份是0，超出了Spark Timestamp/Date类型支持的合法范围（Spark的Timestamp类型通常支持的年份范围是1582年到9999年，具体取决于版本），因此在实际解析数据行时抛出year 0 is out of range错误。

为什么count()不报错，take()报错？ #

• count()的执行逻辑：count()只需要统计数据的总行数，不需要实际解析每一行的具体内容，Spark可以通过元数据或者分区信息直接获取行数，不会触发数据的实际解析操作，因此不会遇到日期解析错误。
• take(1)的执行逻辑：take(1)需要实际读取并返回至少一行数据，这会触发Spark对数据行的解析操作——包括将推断为Timestamp类型的列值转换成对应的数据类型，此时无效的0年份日期就会触发解析异常。

解决建议 #

如果需要避免这个错误，可以选择以下方案：

• 关闭自动类型推断：设置inferSchema=False，所有列默认会被推断为String类型，后续再手动处理日期列。
• 手动指定Schema：提前定义好列的类型，将可能包含无效日期的列指定为String类型，之后再通过自定义逻辑处理这些无效值。
  示例代码：

  from pyspark.sql.types import StructType, StructField, StringType
  
  schema = StructType([
      StructField("_c0", StringType(), True),
      StructField("_c1", StringType(), True),
      StructField("_c2", StringType(), True)
  ])
  
  df = spark.read.format("csv") \
      .option("delimiter", "|") \
      .option("header", False) \
      .schema(schema) \
      .load("your_path")
  

• 预处理无效日期：在读取数据时，通过option("badRecordsPath", "/path/to/bad/records")将包含无效日期的行写入指定路径，避免中断任务。

内容的提问来源于stack exchange，提问作者kabil