Mac下通过Crontab运行Python脚本遇ImportError问题求助

看起来你遇到的核心问题是Cron的环境隔离特性——它的默认环境变量和你在终端里的完全不同，这也是手动运行正常但Cron执行失败的主要原因。我们一步步来解决：

一、为什么用Shell脚本运行时会报ModuleNotFoundError？ #

你的crawler.sh脚本里有个明显的错误：export PYTHONPATH=/Users/simonwe/opt/anaconda3/bin/python是错的——PYTHONPATH是用来指定Python模块的搜索路径，不是用来指定Python解释器的路径。这就导致Cron还是用了默认的系统Python，自然找不到你在Anaconda环境里安装的requests包。

修正Shell脚本的步骤： #

1. 先给脚本加上可执行权限（如果还没加）：

   chmod +x /Users/simonwe/PycharmProjects/crawlerzon/crawler.sh
   

2. 改写crawler.sh，直接用完整路径的Python解释器运行脚本：

   #!/bin/sh
   # 直接调用Anaconda的Python解释器，确保使用正确的环境
   /Users/simonwe/opt/anaconda3/bin/python /Users/simonwe/PycharmProjects/crawlerzon/crawler.py
   

3. 如果你是用Conda虚拟环境（而非base环境）安装的requests，还要在脚本里激活对应的环境：

   #!/bin/sh
   # 加载Conda的环境配置
   source /Users/simonwe/opt/anaconda3/etc/profile.d/conda.sh
   # 激活你的虚拟环境（比如名为crawler_env）
   conda activate crawler_env
   # 运行脚本
   python /Users/simonwe/PycharmProjects/crawlerzon/crawler.py
   

二、为什么直接指定Python路径的Cron任务没执行？ #

这种情况通常是因为Cron的执行日志没被捕获，或者脚本里有相对路径、环境依赖没满足。我们来排查和解决：

1. 先捕获执行日志，看具体错误 #

修改你的Cron任务，把输出重定向到日志文件，这样就能知道为什么没执行：

00 13 * * * /Users/simonwe/opt/anaconda3/bin/python /Users/simonwe/PycharmProjects/crawlerzon/crawler.py >> /Users/simonwe/cron_crawler.log 2>&1

• >> 表示把标准输出追加到日志文件
• 2>&1 表示把错误输出也重定向到同一个文件

到时间后查看/Users/simonwe/cron_crawler.log，就能定位具体问题。

2. 检查脚本里的相对路径 #

如果你的crawler.py里用到了相对路径（比如open("data.csv")），Cron的默认工作目录是你的用户根目录（/Users/simonwe），而不是脚本所在的目录，这会导致文件找不到。把脚本里所有相对路径改成绝对路径。

3. 确保Conda环境被正确加载 #

即使你指定了Anaconda的Python路径，有时候Cron还是无法识别Conda安装的包，因为Conda的环境变量没有被加载。你可以在Cron命令里先加载Conda的配置：

00 13 * * * /bin/bash -l -c "/Users/simonwe/opt/anaconda3/bin/python /Users/simonwe/PycharmProjects/crawlerzon/crawler.py >> /Users/simonwe/cron_crawler.log 2>&1"

• -l 参数让bash以登录Shell的方式运行，会自动加载你的~/.bash_profile或~/.zshrc里的Conda初始化配置

或者更直接地加载Conda的脚本并激活环境：

00 13 * * * source /Users/simonwe/opt/anaconda3/etc/profile.d/conda.sh && conda activate base && python /Users/simonwe/PycharmProjects/crawlerzon/crawler.py >> /Users/simonwe/cron_crawler.log 2>&1

（把base换成你安装requests的虚拟环境名）

三、额外的排查要点 #

• 确认Cron服务在运行：在终端执行launchctl list | grep cron，如果没有输出，用sudo launchctl start com.apple.cron启动（不同MacOS版本可能服务名略有不同）。
• 检查Cron的时间设置：Mac的Cron使用系统时区，用date命令确认当前时区是否和你设置的13:00匹配。
• 验证Python解释器和包的对应关系：在终端执行/Users/simonwe/opt/anaconda3/bin/python -c "import requests; print(requests.__file__)"，如果能正常输出，说明这个Python解释器确实能找到requests包。

内容的提问来源于stack exchange，提问作者notacop92