PySpark加载分区目录CSV仅显示推断Schema，无法校验新文件列结构差异

• 数据存储规则：CSV文件按ingestdatetime做分区目录存储，目标分区路径为mnt/data/test/ingestdatetime=20210208/，目录下的目标文件为test_20210208.csv
• 初始加载实现代码：

# 从顶层分区根目录全量加载
df = spark.read.csv("mnt/data/test")
# 过滤取目标分区数据
df = df.filter(df['ingestdatetime'] == '20210208')

• 核心目标：校验加载到的无表头CSV实际Schema是否匹配预置预期，由于CSV本身不带表头，无法通过字段名匹配的常规方式完成Schema一致性校验

• Spark从顶层根目录加载CSV时，默认仅基于少量抽样数据行推断Schema，无法精准识别新入库文件的列数偏差、额外列存在的问题，无法满足Schema校验的需求
• 实际异常表现：顶层目录加载完成后仅识别到6个数据列，但目标分区下的新CSV实际包含7个数据列

• 方案1：直接指定分区子目录路径mnt/data/test/ingestdatetime=20210208/加载数据
  存在缺陷：该加载方式不会自动解析路径中携带的分区键信息，会直接丢失分区字段ingestdatetime的类型定义
• 方案2：将所有字段统一按String类型加载后开展校验
  当前状态：方案尚未完成可行性验证

内容的提问来源于stack exchange，提问作者OrganicMustard