Colab中用Selenium爬Naver新闻遇WebDriverException报错求助

1. 先安装依赖组件 #

Colab默认缺少适配的Chrome浏览器和驱动，执行以下命令完成安装：

!apt-get update
!apt-get install -y chromium-browser
!pip install selenium
!apt-get install -y chromium-chromedriver
!ln -s /usr/lib/chromium-browser/chromedriver /usr/bin/chromedriver

2. 配置Chrome启动参数（核心修复） #

错误源于Chrome在Colab的无界面环境下启动异常，必须添加以下参数适配：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 配置Chrome选项
chrome_options = Options()
chrome_options.add_argument('--headless')  # 启用无头模式（无界面运行）
chrome_options.add_argument('--no-sandbox')  # 禁用沙箱机制，Colab环境必需
chrome_options.add_argument('--disable-dev-shm-usage')  # 解决临时空间不足问题
chrome_options.add_argument('--remote-debugging-port=9222')  # 指定调试端口，修复DevToolsActivePort缺失问题
chrome_options.add_argument('--user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"')  # 模拟正常浏览器UA，避免被Naver反爬拦截

# 初始化驱动
driver = webdriver.Chrome(options=chrome_options)

3. 额外注意点 #

• 访问Naver新闻时，添加适当等待（比如time.sleep(2)或Selenium显式等待），避免请求过快触发反爬
• 若重启后仍报错，检查是否是运行时资源不足，可尝试切换Colab的运行时类型（如GPU/CPU）

内容的提问来源于stack exchange，提问作者Doosan Paik