Linux虚拟机中Crontab调度Python爬虫Chrome无法正常运行问题排查

核心原因 #

Crontab运行环境与终端环境存在差异：缺少桌面显示上下文、环境变量不全、相对路径失效，导致Chrome无法正常初始化。

具体修复步骤 #

• 给Chrome添加无头模式及必要参数
  由于Crontab运行在无桌面环境下，必须让Chrome以无头模式启动，同时禁用沙箱等限制。修改爬虫脚本中的Chrome配置：

  from selenium import webdriver
  from selenium.webdriver.chrome.options import Options
  
  chrome_options = Options()
  # 启用新版无头模式，行为更接近正常Chrome
  chrome_options.add_argument('--headless=new')
  # 禁用沙箱（无桌面/非root场景下必需）
  chrome_options.add_argument('--no-sandbox')
  # 避免/dev/shm空间不足导致崩溃
  chrome_options.add_argument('--disable-dev-shm-usage')
  # 禁用GPU加速（无头模式无需）
  chrome_options.add_argument('--disable-gpu')
  # 设置下载路径（必须用绝对路径）
  download_path = "/home/myuser/downloads"  # 替换为你的实际绝对路径
  chrome_options.add_experimental_option("prefs", {"download.default_directory": download_path})
  
  # 若chromedriver不在默认PATH，需指定绝对路径
  driver = webdriver.Chrome(executable_path='/usr/bin/chromedriver', options=chrome_options)
  

• 统一使用绝对路径
  脚本中所有涉及文件、文件夹的路径（创建新文件夹、保存文件等）必须用绝对路径，禁止使用./new_folder这类相对路径——Crontab的默认工作目录并非脚本所在目录，相对路径会导致文件保存到错误位置或创建失败。

• 补充Crontab的环境变量
  Crontab的PATH默认不包含部分系统路径，可能导致找不到Chrome或chromedriver。在Crontab任务前添加PATH配置：

  PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
  * * * * * /usr/bin/python3 /home/myuser/file.py
  

• 排查错误日志
  将Crontab的输出重定向到日志文件，方便定位具体错误：

  * * * * * /usr/bin/python3 /home/myuser/file.py >> /home/myuser/spider_cron.log 2>&1
  

  查看日志内容，若出现Chrome路径错误、权限不足等提示，针对性解决。也可通过系统日志排查：

  grep CRON /var/log/syslog
  

• 确保权限一致性
  不要用sudo crontab -e添加任务（除非脚本必须root权限），直接用运行脚本的用户（myuser）执行crontab -e，避免权限冲突导致无法访问用户目录下的文件。

内容的提问来源于stack exchange，提问作者Marco Jammajalla Mangraviti