Ubuntu下非sudo运行PySpark报错：需先以package目标构建Spark

这个问题我之前碰到过好几次，核心原因大多是普通用户对Spark安装目录的权限不足，或者环境变量在普通用户会话里没有正确生效。下面给你一步步解决的办法：

1. 检查Spark安装目录的权限 #

首先确认你的Spark安装目录对普通用户是否有足够的访问权限。打开终端（不用sudo），运行：

ls -ld /path/to/your/spark/directory

比如你的Spark在/opt/spark，就运行ls -ld /opt/spark。如果输出里的权限列（比如drwxr-xr-x）最后三位不是r-x，说明普通用户没有读和执行权限，这就是问题所在。

2. 修改Spark目录的权限 #

方法一：将目录所有权转移到当前用户 #

运行以下命令，把Spark目录的所有权改成你当前的普通用户（替换/opt/spark为你的实际Spark路径）：

sudo chown -R $USER:$USER /opt/spark

这个命令会递归地把目录下所有文件和子目录的所有者改成当前用户，这样你就能正常访问了。

方法二：给所有用户添加读/执行权限 #

如果不想修改所有权，也可以给所有用户开放读和执行权限：

sudo chmod -R 755 /opt/spark

3. 验证普通用户的环境变量 #

虽然你说已经把Spark添加到系统路径，但要确保这个配置对普通用户生效：

• 打开终端（不用sudo），运行echo $SPARK_HOME，看是否输出正确的Spark安装路径；
• 再运行echo $PATH，检查是否包含$SPARK_HOME/bin。

如果输出不对，需要把环境变量添加到普通用户的配置文件里：

1. 编辑~/.bashrc文件：

   nano ~/.bashrc
   

2. 在文件末尾添加：

   export SPARK_HOME=/path/to/your/spark/directory
   export PATH=$SPARK_HOME/bin:$PATH
   

3. 保存退出后，运行source ~/.bashrc使配置生效。

4. （可选）重新构建Spark（如果权限和环境变量都没问题） #

如果上面的步骤都做完还是报错，可能是Spark的构建文件对普通用户不可访问。你可以切换到Spark目录，用普通用户身份重新构建：

cd /path/to/your/spark/directory
./build/mvn -DskipTests package

这个命令会跳过测试构建Spark的package目标，完成后再尝试运行pyspark。

内容的提问来源于stack exchange，提问作者OmG