PySpark读取分区数据出现全NULL值但HUE/Hive读取正常问题求助

该问题本质是Spark和Hive对Parquet文件的Schema读取规则差异导致：

Hive元数据默认对字段名大小写不敏感，且读取Parquet时默认按字段名匹配；而Spark原生读取Parquet默认大小写敏感，若底层Parquet文件的字段名大小写、字段顺序与Hive外部表定义不一致，就会出现字段匹配失败返回NULL的情况。分区字段由Spark直接从文件路径解析获取，不受Parquet文件Schema影响，因此可以正常返回。

• 方案1：对齐Spark与Hive的Parquet读取规则，关闭大小写敏感
  读取数据前先配置Spark参数，再读取外部表或HDFS路径的Parquet文件即可：

  # 配置读写规则
  spark.conf.set("spark.sql.caseSensitive", "false")
  spark.conf.set("spark.sql.hive.convertMetastoreParquet", "true")
  # 读取外部表
  df = spark.sql("SELECT * FROM 你的外部表全名")
  # 若直接读HDFS路径，额外开启Schema合并兼容多分区不同Schema的场景
  df = spark.read.option("mergeSchema", "true").parquet("hdfs://你的Parquet文件存储路径")
  

• 方案2：显式指定读取Schema
  若调整配置后仍存在问题，可以直接复用Hive表的Schema读取Parquet文件，强制对齐字段定义：

  # 获取Hive外部表的官方Schema定义
  hive_table_schema = spark.table("你的外部表全名").schema
  # 用指定Schema读取Parquet文件
  df = spark.read.schema(hive_table_schema).parquet("hdfs://你的Parquet文件存储路径")
  

• 方案3：兼容特殊Parquet SerDe配置场景
  如果外部表使用了自定义Parquet序列化类，关闭Spark向量化读取器即可适配：

  spark.conf.set("spark.sql.parquet.enableVectorizedReader", "false")
  df = spark.sql("SELECT * FROM 你的外部表全名")
  

内容的提问来源于stack exchange，提问作者Niels