Ubuntu安装Pydoop遇subprocess-exited-with-error错误求助

核心原因 #

rpc/types.h是Hadoop开发库中的头文件，Pydoop编译时依赖该文件，系统未安装对应依赖或未正确配置Hadoop路径会导致编译终止。

解决步骤 #

• 安装系统Hadoop开发依赖包
  直接通过apt安装包含该头文件的库，同时补全编译必备工具：

  sudo apt-get update
  sudo apt-get install libhadoop-dev build-essential python3.10-dev
  

  安装完成后重新执行安装命令：

  pip install pydoop
  

• 手动指定Hadoop路径（系统包版本不符时使用）

  1. 下载并解压带开发文件的Hadoop二进制包（推荐3.x系列版本），例如解压到/opt/hadoop目录
  2. 设置环境变量：

     export HADOOP_HOME=/opt/hadoop
     export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native:$LD_LIBRARY_PATH
     export CFLAGS="-I$HADOOP_HOME/include"
     export LDFLAGS="-L$HADOOP_HOME/lib/native"
     

  3. 执行Pydoop安装：

     pip install pydoop
     

• 验证安装结果
  安装完成后，可通过以下命令确认Pydoop是否正常可用：

  python3 -c "import pydoop; print(pydoop.__version__)"
  

内容的提问来源于stack exchange，提问作者Manoj