寻求非Chromium内核的开源浏览器库 用于自建可过Cloudflare的浏览器

1. Gecko（Mozilla Firefox内核） #

• 完全开源，遵循MPL 2.0协议，成熟稳定，对现代Web标准支持完善
• 自带完整网络栈与渲染引擎，能处理复杂JS及DOM操作，天然适配Cloudflare对Firefox的验证逻辑，基础兼容性拉满
• 可通过GeckoView（移动端）或XUL/XPCOM（桌面）接口嵌入开发，适合构建功能完备的自定义浏览器

2. WebKit（Safari内核） #

• 采用BSD开源协议，由苹果维护，支持跨平台部署（macOS、iOS、Linux、Windows）
• Web标准支持度高，网络栈与渲染能力优异，Cloudflare对Safari的验证规则适配良好
• 提供WebKitGTK（桌面/Linux）、WKWebView（iOS/macOS）等嵌入接口，便于快速集成到自定义应用

3. NetSurf #

• 轻量级开源引擎（MIT协议），主打低资源占用与高性能
• 核心网络栈支持TLS、HTTP/2等标准，虽JS功能需扩展完善，但适合构建轻量型自定义浏览器
• 模块化设计清晰，嵌入到自定义应用的成本较低

Cloudflare验证适配要点 #

• 模拟主流非Chromium浏览器的请求头：设置符合Firefox/Safari格式的User-Agent、Accept、语言头等标识
• 确保引擎支持必要JS特性：Canvas指纹、WebGL、Cookie存储等均需正常工作，避免触发Cloudflare的异常检测
• 预留验证码处理逻辑：若触发人机验证，可集成开源识别工具或实现手动验证流程

核心逻辑 #

在浏览器的网络请求拦截环节，捕获所有含查询参数的请求（如带?q=的搜索URL、专用搜索接口），提取关键词、请求时间、URL等信息，异步写入SQLite数据库。

具体步骤 #

1. 构建SQLite表结构 #

CREATE TABLE IF NOT EXISTS search_records (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    query TEXT NOT NULL,
    request_url TEXT NOT NULL,
    timestamp DATETIME DEFAULT CURRENT_TIMESTAMP,
    user_agent TEXT
);

2. 拦截网络请求 #

利用所选引擎的网络拦截API：

• Gecko：通过nsIObserverService监听http-on-modify-request事件获取请求详情
• WebKit：通过WKNavigationDelegate的webView:decidePolicyForNavigationAction:decisionHandler:方法拦截请求
• NetSurf：使用fetch模块的钩子函数捕获请求参数

3. 提取查询关键词 #

解析URL查询参数，优先提取q、search等通用搜索参数；针对Google、Bing等特定平台，可做针对性规则解析。

4. 写入数据库 #

使用对应开发语言的SQLite库（如Python的sqlite3、C++的sqlite3.h、Rust的rusqlite）执行插入操作，多线程环境下需确保线程安全。

示例代码（Python + WebKitGTK） #

import sqlite3
from gi.repository import WebKit2, Gtk
from urllib.parse import urlparse, parse_qs

# 初始化SQLite数据库
conn = sqlite3.connect('browser_records.db')
cursor = conn.cursor()
cursor.execute('''
    CREATE TABLE IF NOT EXISTS search_records (
        id INTEGER PRIMARY KEY AUTOINCREMENT,
        query TEXT NOT NULL,
        request_url TEXT NOT NULL,
        timestamp DATETIME DEFAULT CURRENT_TIMESTAMP,
        user_agent TEXT
    )
''')
conn.commit()

def on_request_intercept(web_view, decision, decision_handler):
    request = decision.get_request()
    url = request.get_uri()
    user_agent = request.get_http_headers().get("User-Agent")
    
    # 提取?q参数对应的查询关键词
    parsed_url = urlparse(url)
    query_params = parse_qs(parsed_url.query)
    if 'q' in query_params:
        query_content = query_params['q'][0]
        # 写入数据库
        cursor.execute('''
            INSERT INTO search_records (query, request_url, user_agent)
            VALUES (?, ?, ?)
        ''', (query_content, url, user_agent))
        conn.commit()
    
    decision_handler(WebKit2.PolicyDecisionPolicy.USE)

# 初始化浏览器窗口
win = Gtk.Window(title="Custom Browser")
win.connect("destroy", Gtk.main_quit)
web_view = WebKit2.WebView()
web_view.connect("decide-policy", on_request_intercept)
win.add(web_view)
win.show_all()

Gtk.main()

内容的提问来源于stack exchange，提问作者DmitroK