如何解决crontab运行调用Python脚本的Bash脚本时Python不执行问题

核心诱因 #

你遇到的问题是crontab运行任务时的执行环境和你手动登录终端的执行环境不一致导致的，常见原因有以下几点：

• crontab默认不会加载用户登录后的shell配置文件（比如.bashrc、.zshrc、.profile等），你手动配置的自定义环境变量、venv虚拟环境相关的PATH配置在crontab的运行环境中全部不存在
• 你在终端执行时已经激活了venv虚拟环境，调用的python3是虚拟环境内的版本，装有脚本需要的依赖；但crontab运行时没有激活虚拟环境，调用的是系统自带的python3，缺少对应依赖导致Python脚本运行报错退出，你没有捕获错误输出所以看不到具体报错
• 脚本内的相对路径依赖工作目录匹配，虽然你在crontab里写了cd ~/directory，但部分系统的crontab对~的解析可能存在异常，导致工作目录不符合预期，Python找不到app.py文件

具体解决步骤 #

1. 先开启错误输出捕获，方便定位具体问题
   首先修改crontab配置，把标准错误也重定向到日志中：

   10 * * * * cd ~/directory && /bin/bash ~/directory/script.sh >> output.txt 2>&1
   

   同时修改bash脚本内调用Python的行，把Python的错误输出也捕获到变量中：

   var=$(python3 app.py 2>&1)
   

   调整后运行一次crontab任务，查看output.txt和log.txt就能看到Python脚本的具体报错信息。

2. 适配虚拟环境配置
   不需要手动激活虚拟环境也可以直接调用虚拟环境内的Python解释器，避免环境切换问题，把bash脚本内的Python调用路径替换为虚拟环境内的Python绝对路径即可，示例如下（注意替换为你实际的虚拟环境路径）：

   var=$(/home/你的用户名/directory/venv/bin/python3 app.py)
   

   如果你需要保留激活虚拟环境的逻辑，可以在调用Python前加一行激活命令：

   source /home/你的用户名/directory/venv/bin/activate
   

3. 适配自定义环境变量
   有两种方式可以让crontab读取到你的自定义环境变量：

   • 直接把所有需要用到的自定义环境变量写在bash脚本的开头，示例：

     export DB_HOST=127.0.0.1
     export DB_PORT=3306
     

   • 在bash脚本开头主动加载你的配置文件（如果使用bash就加载.bashrc，使用zsh就加载.zshrc）：

     source ~/.bashrc
     

     注意部分发行版的.bashrc开头存在「非交互模式运行直接退出」的判断逻辑，你可以把自定义环境变量移到.profile文件中，再加载source ~/.profile即可。

4. 统一使用绝对路径
   所有涉及到文件路径的地方尽量用绝对路径，比如app.py可以写成绝对路径/home/你的用户名/directory/app.py，避免工作目录解析异常的问题。

内容的提问来源于stack exchange，提问作者user17524913