Spark与Pandas读取Parquet文件的路径差异原因咨询

核心原因是Spark和Pandas对DBFS的访问逻辑完全不同：

• Spark原生适配DBFS规则
  Databricks里的Spark和DBFS深度绑定，你用/开头的路径时，Spark会自动将其解析为DBFS的根目录（等价于dbfs:/）。所以/user/hive/xyz/abc.db/test_file在Spark眼里就是dbfs:/user/hive/xyz/abc.db/test_file，直接就能定位到文件。

• Pandas依赖本地文件系统挂载
  Pandas基于Python的本地文件API运行，它不懂DBFS的特殊路径语义。Databricks为了让本地进程（比如Python代码）能访问DBFS，把整个DBFS挂载到了集群节点本地文件系统的/dbfs目录下。所以Pandas要访问DBFS里的文件，必须用本地挂载的路径，也就是/dbfs开头，对应DBFS的dbfs:/根目录。

• 错误的具体原因
  当你给Pandas用和Spark一样的/user/hive/xyz/abc.db/test_file路径时，Pandas会把它当成节点本地的文件路径去查找，但这个路径在本地根本不存在。错误信息里出现的dbfs:/dbfs/user/hive//xyz/abc.db/test_file，是因为Databricks的路径转换逻辑把本地的/dbfs又叠加到了DBFS前缀上，导致路径重复，自然找不到文件。

内容的提问来源于stack exchange，提问作者rushikesh maheshwari