Docker中运行PySpark报错：无法找到/usr/bin/python3路径

针对你遇到的java.io.IOException: Cannot run program "/usr/bin/python3": error=2, No such file or directory错误，即便已配置相关参数仍未解决，可按以下步骤排查：

1. 验证Python路径的有效性 #

• 执行file /usr/bin/python3，确认该文件是可执行二进制文件，而非失效的软链接。如果是软链接，检查其指向的目标文件是否存在（比如链接到/usr/bin/python3.10，需确认该文件存在且可访问）。
• 直接执行/usr/bin/python3 --version，确保Python能正常启动，无权限或依赖缺失问题。

2. 强制在SparkSession中指定Python路径 #

绕过可能未生效的配置文件，在代码中直接指定Python路径，确保Spark加载正确配置：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("Test") \
    .config("spark.pyspark.python", "/usr/bin/python3") \
    .config("spark.pyspark.driver.python", "/usr/bin/python3") \
    .getOrCreate()

data = [("Alice", 1), ("Bob", 2)]
df = spark.createDataFrame(data, ["name", "id"])

df.show()
df.count()

启动后，在Spark Shell中执行sc.getConf().getAll()，搜索pyspark.python相关配置，确认参数已正确加载。

3. 检查Spark运行用户的权限 #

若你以root用户登录容器，但Spark使用spark或其他普通用户运行，需确认该用户有访问/usr/bin/python3的权限：

• 切换到Spark运行用户：su spark（若用户不存在，需检查容器中Spark的运行配置）
• 执行/usr/bin/python3 --version，确认该用户可正常调用Python。

4. 验证Spark Worker进程的环境变量 #

Spark Worker进程的环境可能与你登录容器的环境不一致，可通过以下方式检查：

• 执行ps aux | grep spark找到Worker进程的PID
• 查看该进程的环境变量：cat /proc/<worker-pid>/environ | tr '\0' '\n' | grep PYSPARK
  确认PYSPARK_PYTHON和PYSPARK_DRIVER_PYTHON已正确设置为/usr/bin/python3。

5. 检查Docker镜像的构建逻辑 #

若为自定义Docker镜像，需确认Python是在镜像构建阶段安装（而非临时在容器内安装）：

• 查看Dockerfile，确保包含安装Python的命令，例如：

  RUN apt-get update && apt-get install -y python3 python3-pip
  

• 重新构建镜像并启动容器，避免临时安装的Python在容器重启后丢失。

6. 尝试使用相对路径 #

若绝对路径仍存在问题，可尝试使用python3作为路径，同时确保/usr/bin在Spark进程的PATH环境变量中：

• 修改spark-defaults.conf：

  spark.pyspark.python=python3
  spark.pyspark.driver.python=python3
  

• 在spark-env.sh中添加export PATH=$PATH:/usr/bin，确保Spark进程能找到python3命令。

内容的提问来源于stack exchange，提问作者Felipe