Azure Databricks加载Parquet文件时卡在DBIO文件碎片定位的解决方法

• 检查文件路径与权限

  • 确认目标存储（ADLS Gen2/BLOB）的路径拼写完全正确，容器名、文件夹层级不能出错。
  • 验证Databricks集群的访问权限：确保服务主体或托管身份拥有Storage Blob Data Contributor权限，权限不足会直接导致无法扫描文件碎片。
  • 用dbutils.fs.ls("<你的存储路径>")命令测试路径是否可正常访问，查看能否列出目标路径下的所有文件。

• 临时禁用DBIO碎片检测

  • 写入Parquet前添加以下配置，强制跳过碎片检测流程：

  spark.conf.set("spark.databricks.io.cache.enabled", "false")
  spark.conf.set("spark.databricks.io.parquet.enableFragmentDetection", "false")
  

  • 完成写入后可恢复默认配置，避免影响其他作业的正常运行。

• 排查集群状态与配置

  • 查看集群监控页面，检查节点是否存在故障、CPU/内存是否耗尽，资源不足会导致作业卡住无进展。
  • 直接重启集群：部分场景下集群的IO缓存或服务进程异常，重启后即可解决这类卡住问题。
  • 升级Databricks Runtime版本：若使用10.x以下的旧版本，建议切换至稳定的新版本，旧版本可能存在碎片检测功能的已知bug。

• 简化写入逻辑

  • 暂时去掉复杂的分区、分桶逻辑，先尝试写入无分区的Parquet文件，验证是否还会卡住。
  • 用repartition(1)或coalesce(1)减少输出文件数量，降低碎片扫描的压力：

  df.coalesce(1).write.mode("overwrite").parquet("<目标路径>")
  

• 清理存储端异常文件

  • 目标路径中若存在损坏的Parquet文件、零字节文件，会导致碎片检测流程卡住，用dbutils.fs.ls列出文件后删除异常项，再重试写入。
  • 如果使用append模式增量写入，之前的文件可能存在锁或损坏问题，换成overwrite模式重新写入尝试。

内容的提问来源于stack exchange，提问作者Harsh Priyadarshi