Ubuntu下Crontab运行Scrapy爬虫失败问题排查求助

验证Crontab是否正常工作 #

• 快速测试任务：编辑你的crontab（执行crontab -e），添加以下命令，等待1分钟后检查目标文件是否生成内容：

  * * * * * echo "Crontab test at $(date)" >> /home/scrapy/crontab_test.log
  

  如果文件有内容，说明crontab服务正常；如果没有，检查crontab服务状态（sudo systemctl status cron），确保服务正在运行。
• 查看系统日志：Ubuntu下crontab的执行记录会写入/var/log/syslog，用以下命令过滤相关日志：

  grep CRON /var/log/syslog
  

  这里会显示所有crontab任务的执行情况，包括失败时的错误提示，是排查问题的核心依据。

爬虫无法运行的核心原因及解决命令 #

你遇到的问题大概率是工作目录错误或日志重定向不完整导致的，直接在crontab中使用以下命令即可解决（无需shell脚本）：

* * * * * cd /home/scrapy/tufelka && /home/scrapy/venvScrapy/bin/scrapy crawl seo_filter_pages >> /home/scrapy/spider.log 2>&1

关键细节解释： #

1. 必须切换到项目根目录：Scrapy需要在包含scrapy.cfg的项目根目录（/home/scrapy/tufelka）执行，否则无法识别项目配置，直接调用scrapy命令会失败。
2. 完整的日志重定向：2>&1会将错误输出（stderr）重定向到标准输出（stdout），确保所有执行信息（包括错误）都写入日志文件，避免因仅重定向stdout而看不到错误导致日志为空。
3. 使用虚拟环境的Scrapy绝对路径：确保调用的是虚拟环境内的Scrapy版本，避免系统全局环境依赖不一致的问题。

额外排查要点 #

• 手动验证命令：先在终端中手动执行以下命令，确认爬虫本身能正常运行：

  cd /home/scrapy/tufelka && /home/scrapy/venvScrapy/bin/scrapy crawl seo_filter_pages
  

  如果手动执行失败，先修复爬虫本身的问题（如依赖缺失、代码错误）。
• 权限检查：确保crontab的执行用户（普通用户或root）拥有以下权限：
  • 访问虚拟环境目录/home/scrapy/venvScrapy
  • 访问爬虫项目目录/home/scrapy/tufelka
  • 写入日志文件/home/scrapy/spider.log
    如果是root用户的crontab（sudo crontab -e），注意文件权限可能与普通用户不同，可临时给日志文件添加全局写入权限测试（chmod 666 /home/scrapy/spider.log）。
• 查看本地邮件：Crontab会将任务的错误输出发送到执行用户的本地邮件，使用mail命令查看邮件内容，里面会包含具体的错误信息（如依赖找不到、路径不存在等）。

内容的提问来源于stack exchange，提问作者bogdan_zak