MacOS下Cron调度含Scrapy的Python脚本失败问题排查

核心问题原因 #

Cron的运行环境和用户登录后的终端环境差异极大：默认PATH范围狭窄，无法自动识别虚拟环境，且~路径解析可能失效，最终导致依赖的Scrapy可执行文件无法被找到。

具体解决方案 #

1. 给Cron补充完整环境PATH

先在终端执行which scrapy获取Scrapy的完整路径（比如/Library/Frameworks/Python.framework/Versions/3.11/bin/scrapy），然后修改Cron任务，在开头添加包含Scrapy和Python的PATH：

0 9 * * * PATH=/usr/local/bin:/Library/Frameworks/Python.framework/Versions/3.11/bin:$PATH /Library/Frameworks/Python.framework/Versions/3.11/bin/python3 /Users/abhishekshukla/Desktop/python_scripts/tool/automation_test.py >> ~/cron.log 2>&1

2. 直接在脚本中指定Scrapy路径

如果不想修改Cron的PATH，可以在调用adv.crawl时显式传入Scrapy命令的完整路径：
修改Python脚本中的对应行：

adv.crawl(url_list, '/Users/abhishekshukla/Desktop/python_scripts/tool/cron_test_output.jl', follow_links=False, scrapy_cmd='/Library/Frameworks/Python.framework/Versions/3.11/bin/scrapy')

3. 正确在Cron中激活虚拟环境

如果使用了虚拟环境，Cron需要完整的激活步骤，同时注意Shell兼容性：
假设虚拟环境路径为~/venvs/scrapy_env，修改Cron任务：

SHELL=/bin/zsh
0 9 * * * source ~/venvs/scrapy_env/bin/activate && python /Users/abhishekshukla/Desktop/python_scripts/tool/automation_test.py >> ~/cron.log 2>&1

若Cron默认使用sh Shell，将source替换为.：

0 9 * * * . ~/venvs/scrapy_env/bin/activate && python /Users/abhishekshukla/Desktop/python_scripts/tool/automation_test.py >> ~/cron.log 2>&1

4. 替换脚本中的~为绝对路径

Cron环境中~无法正确解析为用户主目录，把脚本里所有带~的路径替换为绝对路径：

# 原代码
df = pd.read_csv(r'~/Desktop/python_scripts/tool/test_urls.csv',encoding='utf-8')
# 修改后
df = pd.read_csv('/Users/abhishekshukla/Desktop/python_scripts/tool/test_urls.csv',encoding='utf-8')

# 原代码
adv.crawl(url_list, 'cron_test_output.jl', follow_links=False)
# 修改后
adv.crawl(url_list, '/Users/abhishekshukla/Desktop/python_scripts/tool/cron_test_output.jl', follow_links=False)

# 原代码
crawl_df.to_csv(r'~/Desktop/python_scripts/tool/cron_output.csv')
# 修改后
crawl_df.to_csv('/Users/abhishekshukla/Desktop/python_scripts/tool/cron_output.csv')

5. 验证Cron的环境变量

若以上方法无效，先排查Cron的环境变量：
创建测试脚本test_cron_env.py：

import os
with open('/Users/abhishekshukla/cron_env.log', 'w') as f:
    f.write(str(os.environ))

添加临时Cron任务运行它：

* * * * * /Library/Frameworks/Python.framework/Versions/3.11/bin/python3 /Users/abhishekshukla/test_cron_env.py

等待1分钟后查看cron_env.log，确认PATH中包含Scrapy和Python的路径，以及其他必要环境变量。

内容的提问来源于stack exchange，提问作者Abhishek Shukla