Spark读取ADLS存储的ORC文件覆写自定义schema后数据全为null如何解决

Spark读取ORC格式文件时默认采用按列名匹配schema的规则，而非按列的位置顺序匹配。你自定义的schema列名为Name、Age、Sex、Time，和ORC文件中实际存储的原始列名C1、C2、C3、C4完全不匹配，因此Spark无法找到对应列的数据，最终返回全空值。

以下两种方案均可实现按自定义列名读取ORC数据：

• 方案1：读取后批量重命名列（兼容性最优，全Spark版本支持）
  先不带自定义schema读取ORC文件获取原始列，再按顺序重命名为目标列名即可：

// 读取原始ORC文件，获取默认列名C1/C2/C3/C4
val rawDf = spark.read.format("orc").load("adls_your_file_path/")
// 按顺序指定目标列名，批量重命名
val targetColumns = Seq("Name", "Age", "Sex", "Time")
val df2 = rawDf.toDF(targetColumns: _*)
// 验证数据
df2.show(2, false)

• 方案2：开启ORC按位置匹配schema配置
  如果你需要直接指定自定义schema读取，可修改Spark会话参数，将ORC的schema匹配规则改为按位置匹配后再读取：

// 开启ORC按位置匹配schema开关，默认值为false（按名称匹配）
spark.conf.set("spark.sql.orc.positionSchema.enabled", "true")
// 定义你的目标schema，需保证字段顺序、类型和ORC原始列完全一致
val customSchema = StructType(Seq(
  StructField("Name", StringType),
  StructField("Age", IntegerType),
  StructField("Sex", StringType),
  StructField("Time", TimestampType)
))
// 按自定义schema读取数据
val df2 = spark.read.format("orc").schema(customSchema).load("adls_your_file_path/")
// 验证数据
df2.show(2, false)

注意：spark.sql.orc.positionSchema.enabled参数仅在Spark 3.0及以上版本支持，使用该方案时必须保证自定义schema的字段顺序、字段类型和ORC文件中原始列的顺序、类型完全匹配，否则会出现数据错位或类型转换报错。

内容的提问来源于stack exchange，提问作者Saurav Dobhal