Databricks PySpark读取分区CSV时报冲突分区列名错误问题

异常根因 #

当前触发的Conflicting partition column names detected报错，和传入的日期参数、自定义过滤逻辑无关——堆栈显示异常发生在Spark执行load()方法扫描DBFS路径、加载分区元数据的阶段，还未走到后续的过滤计算环节。核心原因是分区目录结构不满足Spark的统一规则：

• DBFS路径dbfs:/mnt/DL/Facts下存在两类不一致的目录层级：
  1. 部分目录仅设置Year=xxxx/Month=xx两级分区，数据文件直接存放在Month层级下，被Spark识别为[Year, Month]分区列集合
  2. 部分目录设置Year=xxxx/Month=xx/Day=xx三级分区，数据文件存放在Day层级下，被Spark识别为[Year, Month, Day]分区列集合
• Spark对分区表的路径解析有硬性要求：同一分区表的所有数据文件必须存放在统一深度的叶子目录，同层级目录的分区键命名完全一致，否则会直接抛出分区列冲突的断言失败。

排查与解决步骤 #

• 全量扫描目标路径的目录结构，定位所有不规范存放的文件：

  # 递归遍历目标路径，打印所有非目录的文件路径，确认存放层级
  for item in dbutils.fs.ls("dbfs:/mnt/DL/Facts", recurse=True):
      if not item.isDir():
          print(item.path)
  

• 统一分区目录结构，二选一适配：
  • 适配现有三级分区逻辑：将所有存放在Month层级的零散数据，按照文件对应的实际日期移动到对应Day=xx的子目录下，保证所有数据文件都存放在三级分区的叶子目录
  • 适配两级分区逻辑：移除所有路径下的Day分区层级，统一将Year、Month作为固定分区键，同步调整后续的过滤计算逻辑
• 修正自定义读取函数的潜在问题：
  1. 原代码中字符串拼接的过滤条件在inferSchema=False场景下，会将Year/Month/Day识别为字符串类型，直接做乘法计算会出现类型转换异常，建议改用PySpark列表达式实现过滤逻辑，避免类型不匹配问题：

     from pyspark.sql.functions import col
     calculated_partition_date = col("Year").cast("int")*10000 + col("Month").cast("int")*100 + col("Day").cast("int")
     df = df.filter(
         (calculated_partition_date >= int(startDate)) &
         (calculated_partition_date <= int(endDate))
     )
     

  2. 原代码中CSV和JSON分支的过滤逻辑重复，可以抽成公共代码块维护，减少冗余。

内容的提问来源于stack exchange，提问作者OrganicMustard