如何自动检测网站内容类型并选择合适的爬虫工具？

要实现自动根据URL选择BeautifulSoup或Selenium，核心是判断页面是否依赖JavaScript渲染——静态HTML内容直接用BeautifulSoup，需要JS执行后生成内容的页面用Selenium。下面是两种实用的实现方案：

方案1：静态响应与动态渲染内容对比 #

通过对比静态请求的HTML和JS渲染后的内容，判断是否需要Selenium：

1. 先用requests拉取页面静态HTML，用BeautifulSoup提取关键内容（比如页面主体、指定标签文本）
2. 用无头Selenium加载同一页面，提取相同位置的内容
3. 对比两者的内容完整性：如果静态解析的内容缺失严重，说明依赖JS渲染

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

def check_js_dependency(url, target_selector="body"):
    # 静态请求解析
    static_res = requests.get(url, headers={"User-Agent": "Mozilla/5.0"})
    static_soup = BeautifulSoup(static_res.text, "html.parser")
    static_content = static_soup.select_one(target_selector).get_text(strip=True) if static_soup.select_one(target_selector) else ""

    # 动态渲染解析（无头模式）
    chrome_opts = Options()
    chrome_opts.add_argument("--headless=new")
    chrome_opts.add_argument("--disable-blink-features=AutomationControlled")  # 规避反爬检测
    driver = webdriver.Chrome(options=chrome_opts)
    driver.get(url)
    dynamic_content = driver.find_element("css selector", target_selector).text.strip() if driver.find_element("css selector", target_selector) else ""
    driver.quit()

    # 以内容长度占比判断：静态内容不足动态内容50%则判定依赖JS
    return len(static_content) < len(dynamic_content) * 0.5 or not static_content

def auto_crawl(url, target_selector="body"):
    needs_js = check_js_dependency(url, target_selector)
    if needs_js:
        print("启用Selenium（页面依赖JS渲染）")
        chrome_opts = Options()
        chrome_opts.add_argument("--headless=new")
        chrome_opts.add_argument("--disable-blink-features=AutomationControlled")
        driver = webdriver.Chrome(options=chrome_opts)
        driver.get(url)
        content = driver.find_element("css selector", target_selector).text.strip()
        driver.quit()
        return content
    else:
        print("启用BeautifulSoup（静态HTML页面）")
        res = requests.get(url, headers={"User-Agent": "Mozilla/5.0"})
        soup = BeautifulSoup(res.text, "html.parser")
        content = soup.select_one(target_selector).get_text(strip=True)
        return content

# 示例调用
result = auto_crawl("https://example.com", target_selector="main")
print(result)

方案2：基于HTML特征快速判断 #

不需要加载完整动态页面，通过静态响应的线索快速判断：

• 检查HTML中是否存在JS框架渲染的特征（比如id="app"、ReactDOM.render、vue-mount这类标记）
• 查看页面核心容器是否为空（比如<main>标签无文本内容）

import requests
from bs4 import BeautifulSoup

def quick_check_js_dependency(url):
    res = requests.get(url, headers={"User-Agent": "Mozilla/5.0"})
    html_text = res.text
    soup = BeautifulSoup(html_text, "html.parser")

    # 检查JS渲染特征标记
    js_render_signs = ["id=\"app\"", "id=\"root\"", "ReactDOM.render", "vue-mount", "window.__INITIAL_STATE__"]
    for sign in js_render_signs:
        if sign in html_text:
            return True
    
    # 检查核心内容容器是否为空
    main_container = soup.select_one("main, body > div:nth-child(1)")
    if main_container and not main_container.get_text(strip=True):
        return True
    
    return False

# 后续爬取逻辑同方案1，省略重复代码

注意事项 #

• 静态请求时务必添加User-Agent，必要时配合代理、Cookies规避反爬
• Selenium配置要尽量模拟真实浏览器，避免被网站检测为爬虫
• 可根据需求调整判断阈值，比如用内容相似度替代长度对比

内容的提问来源于stack exchange，提问作者Alireza Mirhabibi - IRAN