Azure Databricks读取存储容器Delta Parquet报分区路径错误

• 核心误区：spark.read.format("delta")的读取逻辑和原生Parquet读取完全不同，Delta表的读取必须依赖存储根目录下的_delta_log事务日志完成schema解析、数据定位、版本校验，不支持直接指向单个底层Parquet分片文件读取。
• 报错里提到的「分区路径片段」，指的是Delta分区表的目录命名规则：Delta的分区目录必须遵循分区列名=分区值的格式（例如按日期分区的目录为dt=2022-06-06/）。你直接将part-00000-xxx.snappy.parquet这类分片文件名传入Delta读取器，读取器会把这个文件名误判为分区路径片段做格式校验，匹配失败就抛出该异常。

根据你的实际需求选对应方案即可：

• 需求1：读取整个omega容器存储的全量Delta表数据
  直接指向Delta表的根目录（即存放_delta_log文件夹的层级，你当前场景就是容器根目录）即可，示例代码：

  omega_root_path = 'dbfs:/mnt/omega/'
  full_omega_df = spark.read.format("delta").load(omega_root_path)
  

• 需求2：仅读取指定日期范围内的Delta数据
  不要手动拼接底层分片文件路径，读取全表后通过过滤条件筛选即可。如果写入时设置了日期分区，过滤时会自动做分区裁剪，不会扫描全量数据，性能和直接读指定分片一致：

  # 先读全量Delta表
  omega_full_df = spark.read.format("delta").load('dbfs:/mnt/omega/')
  # 替换成你实际的日期分区列名做筛选
  omega_06_06_df = omega_full_df.filter("dt = '2022-06-06'")
  omega_06_07_df = omega_full_df.filter("dt = '2022-06-07'")
  

• 需求3：绕过Delta规则，强制读取指定的两个Parquet分片文件
  这种场景不要使用delta格式读取，切换为原生parquet格式即可，但会丢失Delta的事务一致性保障：

  omega_2022_06_06_path = 'dbfs:/mnt/omega/part-00000-234567-c000.snappy.parquet'
  omega_2022_06_07_path = 'dbfs:/mnt/omega/part-00000-987898-c000.snappy.parquet'
  
  # 注意format参数改为parquet
  omega_06_06_DF = spark.read.format("parquet").load(omega_2022_06_06_path)
  omega_06_07_DF = spark.read.format("parquet").load(omega_2022_06_07_path)
  

注意：直接读取底层Parquet分片的方式会绕过Delta的ACID校验，如果Delta表做过更新、删除、覆写操作，你读到的可能是已经被标记为删除的过期数据，也可能出现schema不匹配问题，生产环境优先使用读取根路径加过滤的方式。

内容的提问来源于stack exchange，提问作者Surender Raja