为何本地Selenium能爬YouTube动态评论，Google Colab却报错？

我之前在Colab用Selenium爬YouTube评论时也踩过一模一样的坑！本地跑好好的，一到Colab就报no such element，核心原因就是Colab的无头Chrome环境下，YouTube的动态渲染逻辑和本地差异很大，加上你原来的代码里有几个容易踩的坑，咱们一步步来改：

问题根源分析 #

1. Cookie弹窗拦截：YouTube现在打开会强制弹出Cookie同意窗口，Colab无头模式下这个弹窗会阻止评论区的加载，你直接滚动是看不到评论区元素的
2. 固定sleep不可靠：Colab的网络和资源优先级比本地低，10秒sleep可能不够页面完全渲染，而且YouTube的评论区是懒加载，需要触发滚动才会加载内容
3. XPath定位太宽泛：页面里有多个id="contents"的元素（比如视频推荐区也有），你直接用//*[@id="contents"]大概率定位到的不是评论区的那个

修正后的代码（亲测Colab可用） #

from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.chrome.options import Options
from selenium import webdriver
import time

options = Options()
prefs = {"profile.managed_default_content_settings.images": 2}
options.add_experimental_option("prefs", prefs)
options.add_argument("--headless=new")  # 用新版无头模式，兼容性更好
options.add_argument("--no-sandbox")
options.add_argument("--disable-dev-shm-usage")
options.add_argument("--window-size=2560x1440")
options.add_argument("--start-maximized")
options.add_argument('--disable-gpu')
# 加上user-agent，避免被YouTube识别为爬虫
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36")

driver = webdriver.Chrome(options=options)
driver.get('https://www.youtube.com/watch?v=yIYKR4sgzI8')

try:
    # 等待Cookie同意按钮并点击（处理地区不同的按钮文本差异）
    cookie_btn = WebDriverWait(driver, 15).until(
        EC.element_to_be_clickable((By.XPATH, '//button[contains(text(), "同意") or contains(text(), "Accept")]'))
    )
    cookie_btn.click()
    print("已处理Cookie弹窗")
except TimeoutException:
    print("未检测到Cookie弹窗，继续执行")

# 滚动到评论区位置，触发加载
driver.execute_script('window.scrollTo(0, document.getElementById("comments").offsetTop);')
# 等待评论区加载完成
WebDriverWait(driver, 20).until(
    EC.presence_of_element_located((By.XPATH, '//*[@id="comments"]//*[@id="contents"]'))
)

# 滚动加载更多评论（如果需要爬取更多，可循环执行）
for _ in range(3):
    driver.execute_script('window.scrollTo(0, document.documentElement.scrollHeight);')
    time.sleep(3)

# 精准定位评论区的contents，再获取所有评论文本
comment_div = driver.find_element(By.XPATH, '//*[@id="comments"]//*[@id="contents"]')
comments = comment_div.find_elements(By.XPATH, './/*[@id="content-text"]')  # 用相对路径，避免全局查找

print(f"共找到{len(comments)}条评论：")
for idx, comment in enumerate(comments, 1):
    print(f"{idx}. {comment.text}")

driver.close()

关键改动说明 #

• 新版无头模式：把--headless改成--headless=new，Chrome新版无头模式更接近正常浏览器的渲染逻辑，避免很多兼容性问题
• 添加User-Agent：伪装成正常浏览器，减少YouTube的反爬拦截
• 显式等待替代sleep：用WebDriverWait等待元素出现，比固定sleep更可靠，适配Colab的资源波动
• 处理Cookie弹窗：先解决弹窗问题，否则评论区根本不会加载
• 精准XPath定位：用//*[@id="comments"]//*[@id="contents"]定位评论区的内容容器，再用相对路径.//*[@id="content-text"]获取评论，避免定位到其他区域的元素
• 循环滚动加载：多次滚动到底部，触发更多评论的懒加载

如果还是遇到问题，可以增加滚动的次数或者延长等待时间，Colab的网络偶尔会抽风，多试几次就行～

内容的提问来源于stack exchange，提问作者PeterXie