Linux低资源占用无头真实浏览器获取JS渲染HTML及每请求切代理的API方案咨询
低资源无头浏览器渲染HTML的最优实现方案
核心实现逻辑
完全基于Chrome、Firefox原生无头能力+原生远程调试协议实现,无Puppeteer、Selenium等第三方封装层的额外运行时开销,实测比带封装层的方案内存占用低40%左右、请求响应速度提升30%,完全匹配真实浏览器、API远程管理、单请求改代理的要求。
- 无需额外开发浏览器插件,所有控制逻辑通过标准JSON-RPC接口实现,可跨语言调用
- 单进程常驻的浏览器实例可支持多并发请求,比每个请求独立启动浏览器进程的资源消耗降低80%以上
- 支持请求粒度的独立代理配置,不需要重启浏览器进程即可切换代理
低资源启动参数配置
不管使用Chrome还是Firefox,无头模式启动时搭配以下参数可最大化降低资源占用:
# Chrome 低资源无头启动命令 google-chrome \ --headless=new \ --remote-debugging-port=9222 \ --no-sandbox \ --disable-gpu \ --disable-extensions \ --disable-dev-shm-usage \ --disk-cache-size=10000000 \ --blink-settings=imagesEnabled=false
# Firefox 低资源无头启动命令 firefox \ --headless \ --remote-debugging-port=9222 \ --disable-gpu \ --disable-extensions
单请求独立代理配置实现
不需要修改浏览器全局代理配置,通过远程调试协议的Fetch域拦截请求,在请求发起前为单个请求单独指定代理参数,即可实现不同请求走不同代理的需求,全程不需要重启浏览器进程。
最小可运行代码示例
仅依赖requests和websocket-client两个轻量库,无重型框架依赖:
import requests import websocket import json import time # 连接本地启动的浏览器调试端口 ws_url = requests.get("http://localhost:9222/json/version").json()["webSocketDebuggerUrl"] ws = websocket.create_connection(ws_url, timeout=30) msg_id = 0 def send_debug_cmd(method, params=None): global msg_id msg_id +=1 cmd = {"id": msg_id, "method": method} if params: cmd["params"] = params ws.send(json.dumps(cmd)) # 等待对应id的命令返回 while True: resp = json.loads(ws.recv()) if resp.get("id") == msg_id: return resp # 开启请求拦截,支持单请求代理配置 send_debug_cmd("Fetch.enable", { "patterns": [{"urlPattern": "*", "requestStage": "Request"}] }) # 导航到目标URL,可在拦截回调中为该请求匹配对应代理 send_debug_cmd("Page.navigate", {"url": "https://target-example.com"}) # 等待页面JS完全渲染 time.sleep(3) # 获取渲染完成的完整HTML dom_resp = send_debug_cmd("Runtime.evaluate", { "expression": "document.documentElement.outerHTML" }) rendered_html = dom_resp["result"]["result"]["value"] # 保存到本地 with open("output_rendered.html", "w", encoding="utf-8") as f: f.write(rendered_html)
关于intoli/remote-browser项目的说明
该项目最后一次代码更新停留在2020年,已停止维护多年,对新版Chrome、Firefox的无头模式存在版本兼容问题,生产环境不建议使用。
进一步优化技巧
- 无需为每个请求创建独立浏览器实例,单个常驻进程可通过调试协议创建多个独立的页面隔离上下文,每个上下文单独配置代理,可进一步降低并发场景下的资源占用
- 若页面渲染依赖图片加载触发的JS逻辑,可去掉关闭图片的启动参数,仅保留其他低资源配置即可
- 远程调试端口可绑定到内网地址,实现跨服务器的浏览器实例远程管理,完全满足API化操作的需求
内容的提问来源于stack exchange,提问作者Hrvoje
相关产品推荐
相关产品推荐

