仅采集浏览器可见内容失败，Selenium+BeautifulSoup代码如何排查

现有代码的问题 #

• 等待逻辑错误：implicitly_wait仅作用于Selenium元素查找的超时时间，不会等待页面动态内容完全渲染、可见性状态稳定，固定2秒的等待也可能出现部分页面内容未加载完成的情况。
• 不可见元素过滤不全：仅手动移除了header、footer两个标签，页面中大量display:none、visibility:hidden、透明度为0的隐藏元素，以及SEO专用隐藏文本、未触发的弹窗内容等都没有过滤，这些内容在HTML源码中存在但用户不可见，都会被BeautifulSoup提取出来。
• 无头浏览器视口配置缺失：默认无头模式的Chrome视口尺寸仅为800*600，响应式站点会根据这个尺寸隐藏部分PC端可见内容，导致你抓取的内容和普通用户打开的页面不一致。
• BeautifulSoup本身不支持元素可见性判断：getText方法会提取所有DOM节点内的文本，不会判断对应节点是否被CSS设置为不可见。
• 异常处理存在漏洞：如果ChromeDriver初始化阶段就抛出异常，此时driver变量还未定义，except分支内的driver.quit()会直接触发NameError。

修复方案 #

你可以直接通过Selenium调用浏览器原生JS来提取可见内容，浏览器的渲染引擎已经内置了元素可见性判断，比你手动用BeautifulSoup过滤准确率高很多，修改后的参考代码如下：

from bs4 import BeautifulSoup
import requests
from selenium import webdriver
from selenium.common.exceptions import WebDriverException
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

options = webdriver.ChromeOptions()
options.add_argument("--headless=new")
# 匹配普通PC端浏览器视口尺寸
options.add_argument("--window-size=1920,1080")
service = Service("/home/nebu/selenium_drivers/chromedriver")

URL = "https://augustasymphony.com/event/top-of-the-world/"
driver = None
try:
    driver = webdriver.Chrome(service = service, options = options)
    driver.get(URL)
    # 显式等待页面body元素可见，最长等待10秒
    WebDriverWait(driver, 10).until(EC.visibility_of_element_located((By.TAG_NAME, "body")))
    # 直接执行JS提取所有可见文本，由浏览器判断元素可见性
    visible_text = driver.execute_script("""
        return Array.from(document.body.querySelectorAll('*'))
            .filter(el => {
                // 判断元素可见的核心规则
                const style = getComputedStyle(el);
                return el.offsetParent !== null 
                    && style.visibility !== 'hidden' 
                    && style.opacity > 0
                    && style.display !== 'none';
            })
            .map(el => el.textContent.trim())
            .filter(text => text)
            .join(' ');
    """)
    print(visible_text)
except WebDriverException as e:
    print(f"抓取出错: {e}")
finally:
    if driver:
        driver.quit()

如果你还是需要处理HTML源码，也可以在提取page_source前，先执行JS移除所有不可见元素，再把处理后的源码传给BeautifulSoup即可。

调试方法 #

• 临时注释掉无头模式的参数，运行代码观察浏览器实际打开的页面内容，对比你提取的文本是否匹配。
• 把抓取到的原始page_source保存为本地HTML文件，用浏览器打开确认内容是否和直接访问目标URL一致，排查是否存在内容未加载完成的问题。
• 对提取到的多余文本，在浏览器F12控制台中找到对应的DOM节点，查看它的CSS属性，调整你过滤可见元素的规则。
• 可以先在浏览器控制台直接运行过滤可见内容的JS代码，确认返回结果符合预期后再写入Python代码。

内容的提问来源于stack exchange，提问作者imhans33