Spark无schema创建Parquet表偶发无法识别分区列是什么原因

• 分区目录扫描逻辑触发失败
  Spark识别Hive风格分区表的前提是：建表时扫描根存储路径，所有子目录均符合分区名=分区值的格式，且根目录下没有直接存放的数据文件。偶发场景通常是建表瞬间根路径下存在脏数据：比如正在写入的临时文件/临时目录（通常是.开头的隐藏文件、.tmp后缀的未完成文件）、残留的无用非分区格式目录，导致Spark判定该路径不是分区存储结构，直接创建非分区表。此时查询数据时Spark仍会从文件路径中解析出part_date列附加到结果中，所以查询能看到分区列，但表元数据中没有分区标记。
• 分布式分区扫描任务执行失败
  当分区数量超过参数spark.sql.sources.parallelPartitionDiscovery.threshold默认阈值（默认32）时，Spark会启动分布式任务扫描所有分区目录获取元数据。如果此时集群资源不足、扫描任务超时或执行失败，Spark会降级为非分区表模式创建表，不会在元数据中记录分区信息，该场景天然具有偶发性，和集群运行状态直接相关。
• 分区类型推断异常
  如果分区值存在格式不一致的情况，或者不同Spark版本对分区值的类型推断逻辑存在差异（比如集群同时存在Spark 2.x和3.x任务，对带下划线的日期格式的类型推断规则不同），会导致分区列类型推断失败，Spark会放弃识别分区结构，创建非分区表。

• 调整Spark配置降低偶发概率
  设置如下参数：

-- 忽略隐藏文件/临时文件，避免脏数据干扰分区识别
spark.sql.files.ignoreHiddenFiles=true
-- 提高并行分区扫描阈值，减少分布式扫描触发概率，避免资源不足导致的扫描失败
spark.sql.sources.parallelPartitionDiscovery.threshold=1000
-- 开启分区列类型推断
spark.sql.parquet.partitionColumnTypeInference.enabled=true

• 建表时强制使用分区结构
  无需提前知道完整Schema，可以通过先读取路径数据获取推断Schema的方式创建分区表：

CREATE TABLE IF NOT EXISTS my_db.my_table
USING PARQUET
LOCATION '/path/to/partitioned/parq'
PARTITIONED BY (part_date STRING)
AS SELECT * FROM parquet.`/path/to/partitioned/parq` LIMIT 0;

执行上述语句后再运行MSCK REPAIR TABLE my_db.my_table即可正常加载全部分区。

内容的提问来源于stack exchange，提问作者Rimer