无法在Putty的Cron Job中运行PySpark转换的Python文件求助

核心原因 #

直接用/usr/bin/python2执行PySpark脚本时，系统找不到PySpark依赖包——这是因为PySpark所需的环境变量（如SPARK_HOME、PYTHONPATH）在Cron的执行环境中未加载，而spark2-submit本身会自动处理这些依赖与环境配置。Cron完全支持spark2-submit，问题出在环境变量缺失或命令写法错误。

具体解决方法 #

方法1：直接在Cron中使用spark2-submit命令 #

这是最直接的方案，利用spark2-submit自动配置PySpark环境：

55 08 * * * /path/to/spark2-submit /home/user/file.py

注意：替换为你系统中spark2-submit的实际路径，可通过Putty执行which spark2-submit获取，比如可能是/usr/bin/spark2-submit或/opt/spark/bin/spark2-submit

方法2：手动加载Spark环境变量后执行脚本 #

若必须用python2执行，需在Cron命令中先加载Spark环境配置：

1. 找到Spark的环境配置文件spark-env.sh，常见路径为/etc/spark2/conf/或/opt/spark/conf/
2. 在Cron命令中先source该配置，再执行脚本：

55 08 * * * /bin/bash -c "source /path/to/spark-env.sh && /usr/bin/python2 /home/user/file.py"

也可直接在命令中指定环境变量：

55 08 * * * /bin/bash -c "export SPARK_HOME=/opt/spark && export PYTHONPATH=\$SPARK_HOME/python:\$SPARK_HOME/python/lib/py4j-xxx-src.zip && /usr/bin/python2 /home/user/file.py"

需将py4j-xxx-src.zip替换为你Spark目录下实际的py4j文件名，可在/opt/spark/python/lib/下查看

方法3：将脚本设为可执行文件并指定shebang #

1. 在file.py开头添加shebang，指定使用spark2-submit的Python环境：

#!/usr/bin/env spark2-submit

2. 给脚本添加可执行权限：

chmod +x /home/user/file.py

3. 简化Cron命令：

55 08 * * * /home/user/file.py

额外排查要点 #

• 查看Cron日志（通常在/var/log/cron或通过grep CRON /var/log/syslog），确认执行时的具体错误
• 确保Cron执行用户与手动运行spark2-submit的用户一致，避免权限问题
• 脚本中所有路径使用绝对路径，不要用相对路径（如读写文件的路径）

内容的提问来源于stack exchange，提问作者Ethan Smih