Julia用HTTP.jl仅获取静态HTML，如何获取JS渲染后的完整网页？

API 探路者

2026-9-30

解决方案

你不需要必须使用WebDriver.jl实现需求，可根据实际场景选择以下方案：

优先选择抓后端接口的轻量方案
页面缺失的内容是JS异步请求后端接口后渲染生成的，你可以打开Chrome开发者工具的Network面板，过滤Fetch/XHR类型的请求，刷新页面后找到返回词典内容的接口，直接用HTTP.jl请求该接口即可。请求时需要带上浏览器请求头里的User-Agent、Referer等字段，避免触发站点反爬规则，该方案执行速度最快，资源消耗最低。

使用支持JS渲染的浏览器模拟工具
如果不想花时间梳理接口，可以选择带JS执行能力的浏览器模拟工具，WebDriver.jl是可选方案之一，除此之外也可以用Playwright.jl，它的API更简洁，执行效率也更高。
以下是WebDriver.jl的参考实现逻辑：

using WebDriver

function get_full_page(url::String, timeout::Int=10)
    # 启动无头Chrome，需要提前启动对应版本的ChromeDriver服务
    caps = Capabilities("chrome")
    caps["goog:chromeOptions"] = Dict("args" => ["--headless=new", "--disable-gpu", "--no-sandbox"])
    session = Session("http://localhost:9515", caps)
    
    navigate!(session, url)
    # 等待词典释义的核心元素加载完成，可根据实际页面调整选择器
    wait(session, FindElement(selector=".homograph-entry", by=css_selector), timeout=timeout)
    full_html = execute_script(session, "return document.documentElement.outerHTML")
    
    close!(session)
    return full_html
end