WebDriverWait已生效但page_source仍返回半渲染HTML问题求助

我之前也碰到过类似的情况——明明等待了目标元素，却只拿到半截HTML，结合你的代码和问题描述，我整理了几个可能的原因和解决方案：

1. 优先替换page_source的获取方式 #

有时候browser.page_source会因为Chrome的渲染机制出现截断，换成直接从DOM获取完整文档的方式更可靠：

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException

options = webdriver.ChromeOptions()
options.add_argument('headless')
options.add_argument('--window-size=1920,1080') # 无头模式建议加窗口尺寸，避免渲染异常
browser = webdriver.Chrome(options=options,executable_path='C:/chromedriver_win32/chromedriver.exe')
browser.get('https://swappa.com/listing/view/LTNZ94446')
try:
    # 先等待文档加载完成，再等待目标元素可见
    WebDriverWait(browser, 30).until(
        lambda driver: driver.execute_script('return document.readyState') == 'complete'
    )
    WebDriverWait(browser, 30).until(EC.visibility_of_element_located((By.ID, "wrap")))
    # 用DOM API获取完整HTML
    full_html = browser.execute_script('return document.documentElement.outerHTML')
    print(full_html)
except TimeoutException:
    print("not found")
finally:
    browser.quit() # 记得关闭浏览器

2. 解决无头模式的渲染限制 #

无头Chrome默认窗口尺寸很小，可能导致页面部分内容不渲染或DOM结构异常，加上--window-size=1920,1080参数可以避免这个问题，上面的代码已经包含了这一点。

3. 针对动态渲染页面的额外等待 #

如果页面用了React/Vue这类框架，元素存在不代表整个页面渲染完成，可以加一个短暂的等待（偶尔必要），或者等待某个只有渲染完成才会出现的标识，比如页面标题：

WebDriverWait(browser, 30).until(
    lambda driver: driver.title.strip() != "" # 等待标题加载完成，可根据实际页面调整
)

其他库的替代方案 #

使用requests-html（轻量内置JS渲染） #

这个库可以直接执行JavaScript渲染页面，无需额外配置浏览器：

from requests_html import HTMLSession

session = HTMLSession()
r = session.get('https://swappa.com/listing/view/LTNZ94446')
# 渲染页面，等待30秒，可根据情况调整
r.html.render(timeout=30)
# 获取完整HTML
print(r.html.html)
session.close()

使用Scrapy + Splash（适合大规模抓取） #

如果需要批量处理动态页面，Scrapy结合Splash是更专业的选择：

1. 通过Docker部署Splash服务
2. 在Scrapy项目中配置Splash中间件，编写爬虫：

import scrapy
from scrapy_splash import SplashRequest

class SwappaSpider(scrapy.Spider):
    name = 'swappa'
    start_urls = ['https://swappa.com/listing/view/LTNZ94446']

    def start_requests(self):
        for url in self.start_urls:
            yield SplashRequest(
                url,
                self.parse,
                args={'wait': 5}, # 等待5秒让页面渲染
                endpoint='render.html'
            )

    def parse(self, response):
        # 直接获取完整渲染后的HTML
        print(response.body.decode('utf-8'))

内容的提问来源于stack exchange，提问作者Pirate X