如何用crontab调度含Items与Pipelines的Scrapy爬虫？

先澄清：Scrapy Items/Pipelines不是cron不执行的直接原因 #

你的推测大概率有误——Scrapy的Item容器和Pipeline本身不会导致cron任务失败，问题核心几乎都在cron的运行环境、路径配置、权限或者Python脚本的路径依赖上。

核心解决步骤 #

1. 全路径化你的脚本与内部依赖 #

cron默认的工作目录是用户home目录，任何相对路径都会失效：

• 修改CrawlerProcess脚本，把所有导入、文件存储路径改成绝对路径：

  # 解决项目模块导入问题（假设你的Scrapy项目在/home/you/scrapy_proj）
  import sys
  sys.path.append('/home/you/scrapy_proj')
  from my_spider.items import MyCustomItem
  
  # Pipeline涉及文件操作时，也要用绝对路径
  class MyPipeline:
      def open_spider(self, spider):
          self.output_file = open('/home/you/scrapy_proj/data/result.json', 'w')
  

• 运行脚本的命令必须用绝对路径，比如：/usr/bin/python3 /home/you/scrapy_proj/run_spider.py

2. 给cron配置必要的环境变量 #

cron的环境变量比终端少很多，容易找不到Python解释器或Scrapy依赖：

• 可以在cron任务开头指定环境变量，或者直接用Python解释器的绝对路径（用which python3查看路径）。
• 示例cron任务（每天凌晨2点运行，同时记录日志）：

  PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
  PYTHONPATH=/home/you/.local/lib/python3.9/site-packages:/home/you/scrapy_proj
  0 2 * * * /usr/bin/python3 /home/you/scrapy_proj/run_spider.py >> /home/you/scrapy_proj/logs/cron_spider.log 2>&1
  

  末尾的>> ... 2>&1会把正常日志和错误信息都写入文件，方便排查问题。

3. 检查权限 #

• 确保cron用户（通常是你的登录用户）对脚本、项目目录、输出目录有读写权限，必要时用chmod +x给脚本添加执行权限。
• 如果爬虫需要访问数据库、API等资源，确认cron用户有对应的访问权限。

4. 分步测试验证 #

• 先手动执行脚本的绝对路径命令，确认脚本本身能正常运行（包括Item解析、Pipeline处理都正常）。
• 写一个简单的测试cron任务，验证cron服务本身正常：

  * * * * * echo $(date) >> /home/you/test_cron.log
  

• 查看系统cron日志（Ubuntu是/var/log/syslog，CentOS是/var/log/cron），搜索你的任务关键词，定位具体错误。

常见错误排查 #

• 日志出现ModuleNotFoundError：PYTHONPATH配置错误，或脚本内的导入路径不对。
• 日志出现Permission denied：检查文件/目录权限，或确认cron用户有资源访问权限。
• 脚本手动能跑但cron不行：直接把终端里的环境变量（用env命令查看）复制到cron任务开头，覆盖默认环境。

内容的提问来源于stack exchange，提问作者Clinton