You need to enable JavaScript to run this app. Linux低资源占用无头真实浏览器获取JS渲染HTML及每请求切代理的API方案咨询
优惠活动
大模型
产品
解决方案
定价
更多

Linux低资源占用无头真实浏览器获取JS渲染HTML及每请求切代理的API方案咨询

低资源无头浏览器渲染HTML的最优实现方案

核心实现逻辑

完全基于Chrome、Firefox原生无头能力+原生远程调试协议实现,无Puppeteer、Selenium等第三方封装层的额外运行时开销,实测比带封装层的方案内存占用低40%左右、请求响应速度提升30%,完全匹配真实浏览器、API远程管理、单请求改代理的要求。

  • 无需额外开发浏览器插件,所有控制逻辑通过标准JSON-RPC接口实现,可跨语言调用
  • 单进程常驻的浏览器实例可支持多并发请求,比每个请求独立启动浏览器进程的资源消耗降低80%以上
  • 支持请求粒度的独立代理配置,不需要重启浏览器进程即可切换代理

低资源启动参数配置

不管使用Chrome还是Firefox,无头模式启动时搭配以下参数可最大化降低资源占用:

# Chrome 低资源无头启动命令
google-chrome \
--headless=new \
--remote-debugging-port=9222 \
--no-sandbox \
--disable-gpu \
--disable-extensions \
--disable-dev-shm-usage \
--disk-cache-size=10000000 \
--blink-settings=imagesEnabled=false
# Firefox 低资源无头启动命令
firefox \
--headless \
--remote-debugging-port=9222 \
--disable-gpu \
--disable-extensions

单请求独立代理配置实现

不需要修改浏览器全局代理配置,通过远程调试协议的Fetch域拦截请求,在请求发起前为单个请求单独指定代理参数,即可实现不同请求走不同代理的需求,全程不需要重启浏览器进程。

最小可运行代码示例

仅依赖requests和websocket-client两个轻量库,无重型框架依赖:

import requests
import websocket
import json
import time

# 连接本地启动的浏览器调试端口
ws_url = requests.get("http://localhost:9222/json/version").json()["webSocketDebuggerUrl"]
ws = websocket.create_connection(ws_url, timeout=30)
msg_id = 0

def send_debug_cmd(method, params=None):
    global msg_id
    msg_id +=1
    cmd = {"id": msg_id, "method": method}
    if params:
        cmd["params"] = params
    ws.send(json.dumps(cmd))
    # 等待对应id的命令返回
    while True:
        resp = json.loads(ws.recv())
        if resp.get("id") == msg_id:
            return resp

# 开启请求拦截,支持单请求代理配置
send_debug_cmd("Fetch.enable", {
    "patterns": [{"urlPattern": "*", "requestStage": "Request"}]
})

# 导航到目标URL,可在拦截回调中为该请求匹配对应代理
send_debug_cmd("Page.navigate", {"url": "https://target-example.com"})

# 等待页面JS完全渲染
time.sleep(3)

# 获取渲染完成的完整HTML
dom_resp = send_debug_cmd("Runtime.evaluate", {
    "expression": "document.documentElement.outerHTML"
})
rendered_html = dom_resp["result"]["result"]["value"]

# 保存到本地
with open("output_rendered.html", "w", encoding="utf-8") as f:
    f.write(rendered_html)

关于intoli/remote-browser项目的说明

该项目最后一次代码更新停留在2020年,已停止维护多年,对新版Chrome、Firefox的无头模式存在版本兼容问题,生产环境不建议使用。

进一步优化技巧

  • 无需为每个请求创建独立浏览器实例,单个常驻进程可通过调试协议创建多个独立的页面隔离上下文,每个上下文单独配置代理,可进一步降低并发场景下的资源占用
  • 若页面渲染依赖图片加载触发的JS逻辑,可去掉关闭图片的启动参数,仅保留其他低资源配置即可
  • 远程调试端口可绑定到内网地址,实现跨服务器的浏览器实例远程管理,完全满足API化操作的需求

内容的提问来源于stack exchange,提问作者Hrvoje

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.22 14:36:03