Google Colab中Selenium图片爬取代码无法运行问题排查

可能的原因及对应解决步骤 #

1. Chrome与chromedriver版本不兼容 #

Colab环境会定期更新，不同时间启动的会话可能有不同版本的Chrome，导致默认的chromedriver版本不匹配。

• 解决操作：
  先执行命令查看当前Chrome版本：

  google-chrome --version
  

  再手动下载对应版本的chromedriver替换默认驱动，示例代码：

  from selenium import webdriver
  from selenium.webdriver.chrome.service import Service
  import subprocess
  
  # 获取Chrome主版本号
  chrome_version = subprocess.check_output(["google-chrome", "--version"]).decode("utf-8").split()[2].split('.')[0]
  # 下载匹配的chromedriver
  !wget -N https://storage.googleapis.com/chrome-for-testing-public/{chrome_version}.0.0.0/linux64/chromedriver-linux64.zip
  !unzip -o chromedriver-linux64.zip
  # 初始化驱动
  service = Service(executable_path='./chromedriver-linux64/chromedriver')
  options = webdriver.ChromeOptions()
  options.add_argument('--headless')
  options.add_argument('--no-sandbox')
  options.add_argument('--disable-dev-shm-usage')
  driver = webdriver.Chrome(service=service, options=options)
  

2. 系统依赖缺失 #

部分Colab会话可能缺少运行Chrome的必要依赖，导致chromedriver无法正常启动。

• 解决操作：
  在代码开头先执行依赖安装：

  !apt-get update
  !apt-get install -y chromium-browser
  

3. 会话资源不足 #

Colab免费会话的内存、进程数有限，资源耗尽时会导致chromedriver启动失败。

• 解决操作：
  • 重启Colab会话（菜单栏「Runtime」→「Restart runtime」）后重新运行代码
  • 关闭会话中其他无关进程，释放资源

4. 代码执行顺序错误 #

若同事先运行了Selenium初始化代码，再执行环境配置步骤，会导致驱动启动时环境未准备完成。

• 解决操作：
  严格按顺序执行：先完成依赖安装、chromedriver下载，再运行爬取逻辑代码。

额外定位手段 #

让同事执行以下命令查看chromedriver的详细错误日志，精准定位问题：

./chromedriver-linux64/chromedriver --verbose

根据日志中的具体报错（如缺少特定库文件）进行针对性修复。

内容的提问来源于stack exchange，提问作者Sujin Yoo