无法读取DBFS分区目录文件，常规场景下其他文件可正常读取求排查方案

一、可能遗漏的配置或检查点 #

• 分区目录权限验证：确认当前执行身份对目标分区目录有读取权限。DBFS分区目录的权限可能与普通目录不同，可通过dbutils.fs.ls("<分区目录完整路径>")测试能否列出目录内容，若返回权限错误，执行dbutils.fs.chmod("<分区目录路径>", "755")赋予公共读权限。
• 分区命名规则匹配：Spark自动识别分区依赖key=value的目录命名格式（如date=2024-05-20），若分区目录命名不符合该规则，或读取时指定的分区值格式与目录名不匹配（比如用20240520代替2024-05-20），会导致无法读取。需确保分区列的过滤条件与目录命名完全一致。
• 挂载点状态检查：若分区目录位于外部存储挂载到DBFS的路径下，通过dbutils.fs.mounts()确认挂载点是否正常，挂载时的权限参数（如readOnly设置）是否影响读取。如果挂载时指定了特定身份，需确认当前执行身份与挂载身份权限兼容。

二、替代读取方案 #

• 直接读取分区子目录：跳过自动分区解析逻辑，直接指定具体分区目录路径读取文件，示例代码：

  df = spark.read.parquet("/dbfs/mnt/data/date=2024-05-20")
  

• 注册为Hive外部表：通过Hive元数据管理分区表，执行类似SQL语句注册：

  CREATE EXTERNAL TABLE IF NOT EXISTS my_table (
      id INT,
      content STRING
  )
  PARTITIONED BY (date STRING)
  LOCATION '/dbfs/mnt/data/'
  STORED AS PARQUET;
  

  之后通过MSCK REPAIR TABLE my_table刷新分区，再用SQL查询读取指定分区：

  SELECT * FROM my_table WHERE date = '2024-05-20';
  

• 重构分区目录结构：若原分区目录命名不规范，重新整理为key=value格式的目录结构，让Spark自动识别分区列，恢复常规读取方式。

内容的提问来源于stack exchange，提问作者Prady_decon