我之前也碰到过一模一样的报错，结合你的代码和错误信息，咱们来一步步排查解决：

首先，你遇到的FileNotFoundError: [WinError 2] The system cannot find the file specified，在Windows环境下用PyArrow连接HDFS时非常常见——大概率不是HDFS路径本身不存在，而是PyArrow依赖的Hadoop本地工具没配置对。

核心排查方向及解决步骤 #

1. 检查Hadoop Windows本地库是否正确配置 #

PyArrow的HDFS连接依赖Hadoop的winutils.exe和hadoop.dll（这俩是Windows环境下访问HDFS的必备工具），如果它们不在系统PATH里，或者版本和你的Hadoop集群不匹配，就会触发这个错误。

解决步骤：

• 下载和你的Hadoop集群版本完全匹配的Windows本地库（比如集群用Hadoop 3.3.4，就找对应版本的winutils）
• 把下载好的winutils.exe和hadoop.dll放到一个固定文件夹，比如C:\hadoop-bin
• 将这个文件夹路径添加到系统的PATH环境变量中，然后重启你的Python运行环境（IDE、终端都要重启，不然PATH不会生效）

2. 验证HDFS路径与权限 #

虽然报错是找不到文件，但也可以快速排除路径和权限问题：

• 先通过HDFS命令行工具确认路径存在：hdfs dfs -ls /user/hive/warehouse/sample_07/sample_07
• 检查代码里用的hdfs用户是否有该路径的读取权限（可以用hdfs dfs -getfacl /user/hive/warehouse/sample_07/sample_07查看权限）
• 注意HDFS路径通常区分大小写，确认你的路径拼写完全正确

3. 排查PyArrow与Hadoop的版本兼容性 #

部分PyArrow版本和Hadoop集群版本存在兼容性问题，比如较新的PyArrow（15+）可能需要Hadoop 3.2以上版本。

解决方法：

• 尝试切换到兼容性较好的PyArrow版本，比如：

  pip install pyarrow==10.0.1
  

• 可以参考PyArrow官方文档里的HDFS兼容说明，确认你的集群版本对应支持的PyArrow版本

快速验证连接的测试代码 #

在访问目标路径前，先测试基础连接是否正常：

import pyarrow as pa
try:
    fs = pa.hdfs.connect('192.168.100.45', 20500, 'hdfs')
    # 列出HDFS根目录，验证连接是否成功
    print("HDFS根目录内容：", fs.ls('/'))
except Exception as e:
    print(f"连接失败原因：{str(e)}")

如果这个测试能成功列出根目录，说明连接配置没问题，再去访问你的目标路径即可。

内容的提问来源于stack exchange，提问作者AntnR