使用Gspread与Selenium时，Google Colab Pro+调度任务失败求助

一、Colab Pro+ 后台调度的特定限制 #

• 无交互环境限制：调度任务运行在无交互的后台环境，所有需要手动授权、弹窗确认的操作（比如交互式身份验证）都会直接失败。
• 全新运行环境：每次调度都会启动全新的虚拟机，之前手动安装的依赖、配置不会被保留，必须在笔记本中显式执行所有安装、配置步骤。
• 资源与时长限制：即使是Pro+账号，调度任务也有运行时长上限（最长约24小时），超出后会被强制终止；同时后台环境的资源分配可能比手动运行时更严格。
• Drive挂载稳定性：后台挂载Drive时容易出现超时或权限问题，需要确保挂载命令配置正确。

二、代码需要调整的关键内容 #

1. 显式安装所有依赖 #

将依赖安装命令放在笔记本最开头，确保每次调度都能自动安装所需工具：

!apt-get update -qq
!apt-get install -yqq chromium-browser xvfb
!pip install -qq selenium pyvirtualdisplay gspread google-auth google-auth-oauthlib

2. 无交互式身份验证与Drive挂载 #

替换交互式认证为非交互方式，同时确保Drive稳定挂载：

from google.colab import drive
# 非交互挂载Drive，强制重新挂载避免缓存问题
drive.mount('/content/drive', force_remount=True, timeout_ms=30000)

# 使用服务账号密钥进行Gspread认证（推荐）
from google.oauth2.service_account import Credentials
import gspread

# 请将service_account_key.json上传到你的Drive对应路径
creds = Credentials.from_service_account_file(
    '/content/drive/MyDrive/service_account_key.json',
    scopes=[
        'https://www.googleapis.com/auth/spreadsheets',
        'https://www.googleapis.com/auth/drive'
    ]
)
gc = gspread.authorize(creds)

注意：服务账号密钥需要在Google Cloud Console中创建，并赋予对应Spreadsheet和Drive的访问权限。

3. 正确配置Selenium与虚拟显示 #

后台环境需要启用headless模式并正确初始化虚拟显示：

from pyvirtualdisplay import Display
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 启动虚拟显示
display = Display(visible=0, size=(1920, 1080))
display.start()

# 配置Chrome后台运行选项
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--disable-gpu')
chrome_options.binary_location = '/usr/bin/chromium-browser'

# 初始化浏览器
driver = webdriver.Chrome(options=chrome_options)

4. 添加错误日志捕获 #

调度任务无法实时查看输出，添加日志记录便于排查问题：

import traceback
import datetime

try:
    %run '/content/drive/MyDrive/scheduled_tasks/your_script.py'
except Exception as e:
    log_path = '/content/drive/MyDrive/scheduled_tasks/schedule_error.log'
    with open(log_path, 'a', encoding='utf-8') as f:
        f.write(f"=== {datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')} ===\n")
        f.write(f"错误信息: {str(e)}\n")
        f.write(f"详细栈追踪:\n{traceback.format_exc()}\n\n")
    # 抛出异常让调度系统标记任务失败
    raise

内容的提问来源于stack exchange，提问作者Barry the Platipus