如何为pyarrow配置libhdfs.so路径？解决libhdfs3.so找不到报错

一、如何为PyArrow设置libhdfs.so的路径 #

要指定libhdfs.so的路径，有两种实用方式：

• 临时生效（当前终端会话）：在运行Python代码前，先在终端设置环境变量ARROW_LIBHDFS_DIR指向你的Hadoop native目录，比如你的路径是/usr/local/hadoop/native/，执行：

  export ARROW_LIBHDFS_DIR=/usr/local/hadoop/native/
  

  之后再启动Python或你的应用程序即可。
• 永久生效：如果修改bashrc后没生效，大概率是没重新加载配置或路径有误，试试：
  1. 打开~/.bashrc文件，添加一行：

     export ARROW_LIBHDFS_DIR=/usr/local/hadoop/native/
     

  2. 执行source ~/.bashrc让配置立即生效，或者重启终端。
     另外一定要确认/usr/local/hadoop/native/目录下确实存在libhdfs.so，避免路径写错。

二、解决ImportError: Can not find the shared library: libhdfs3.so的问题 #

你尝试的conda/pip命令没解决问题，可能是依赖或版本兼容性问题，试试下面的方案：

1. 确保conda环境继承环境变量 #

有时候修改bashrc后，conda环境不会自动继承变量，你可以在激活环境后手动设置：

# 激活你的conda环境
conda activate your_env_name
# 设置环境变量
export ARROW_LIBHDFS_DIR=/usr/local/hadoop/native/

之后再运行Python代码测试。

2. 直接配置系统共享库路径 #

把libhdfs3.so所在目录添加到LD_LIBRARY_PATH，让系统能找到它：

export LD_LIBRARY_PATH=/usr/local/hadoop/native/:$LD_LIBRARY_PATH

这个变量优先级更高，能直接解决共享库找不到的问题。

3. 手动编译兼容版本的libhdfs3 #

如果conda安装的版本和你的系统/PyArrow不兼容，试试源码编译：

# 克隆源码
git clone https://github.com/PivotalRD/libhdfs3.git
# 进入目录并创建编译文件夹
cd libhdfs3 && mkdir build && cd build
# 编译安装
cmake .. && make && sudo make install

编译完成后，把安装后的lib目录（比如/usr/local/lib）添加到LD_LIBRARY_PATH，或者直接把生成的libhdfs3.so复制到/usr/local/hadoop/native/目录。

4. 匹配PyArrow与libhdfs3的版本 #

某些新的PyArrow版本已经不再依赖libhdfs3，改用其他HDFS客户端实现，你可以尝试调整PyArrow版本：

# 降级到稳定兼容版本
conda install pyarrow=10.0.0
# 或者升级到最新版本
conda install pyarrow --update-deps

另外也要确认你的系统是32位还是64位，避免安装了架构不匹配的库文件。

内容的提问来源于stack exchange，提问作者Kush Singh