当connect事件触发时，如何从HTTPS请求中获取完整URL？

问题背景 #

使用Node.js的http模块搭建代理时，HTTP请求可在createServer回调中直接获取完整URL，但处理HTTPS请求的connect事件回调里，req.url仅返回域名+端口格式（如www.google-analytics.com:443），无法拿到包含路径、查询参数的完整URL（例如https://www.google-analytics.com/a/b?f=...）。

尝试用new URL(req.url, http://${req.url})构造URL失败，得到的URL对象无法正确解析协议、路径等信息，示例返回结果如下：

Symbol(context): URLContext {flags: 258, scheme: 'www.wordreference.com:', username: '', password: '', host: null, …}
Symbol(query): URLSearchParams {Symbol(query): Array(0), Symbol(context): URL}
hash: ""
host: ""
hostname: ""
href: "www.example.com:443"
origin: "null"
password: ""
pathname: "443"
port: ""
protocol: "www.example.com:"
search: ""
searchParams: URLSearchParams
username: ""
Symbol(cannot-be-base): (...)
Symbol(cannot-have-username-password-port): (...)
Symbol(special): (...)

原因分析 #

connect事件是客户端发起隧道建立请求时触发的，此时客户端仅传递了目标主机和端口信息，还未发送具体的HTTPS请求路径。包含路径、参数的完整请求行，是在隧道建立完成、客户端完成TLS握手后才会发送的。

解决方案 #

在connect事件回调中，与目标服务器建立连接后，监听客户端socket的数据，解析后续的HTTPS请求行以提取完整URL：

const http = require('http');
const net = require('net');

var server = http.createServer(function (req, res) {
    // 处理HTTP请求，直接拼接完整URL
    const fullUrl = `http://${req.headers.host}${req.url}`;
    console.log('HTTP完整URL:', fullUrl);
    // 后续代理逻辑...
}).listen(8080);

server.addListener('connect', function (req, socket, bodyhead) {
    // 拆分目标主机与端口
    const [host, port] = req.url.split(':');
    const targetPort = port || 443;

    // 连接目标服务器
    const proxySocket = net.connect(targetPort, host, function () {
        // 向客户端返回隧道建立成功响应
        socket.write('HTTP/1.1 200 Connection Established\r\n\r\n');
        // 转发初始数据到目标服务器
        proxySocket.write(bodyhead);
        socket.pipe(proxySocket);
        proxySocket.pipe(socket);

        // 解析客户端发送的HTTPS请求行
        let buffer = '';
        socket.on('data', (chunk) => {
            buffer += chunk.toString();
            // 检测是否拿到完整请求行
            if (buffer.includes('\r\n')) {
                const requestLine = buffer.split('\r\n')[0];
                const [_, path] = requestLine.split(' ');
                // 构造完整HTTPS URL
                const fullHttpsUrl = `https://${host}${path}`;
                console.log('HTTPS完整URL:', fullHttpsUrl);
                // 移除监听，避免重复解析
                socket.removeAllListeners('data');
            }
        });
    });

    // 处理连接错误
    proxySocket.on('error', (err) => {
        console.error('代理连接错误:', err);
        socket.end();
    });

    socket.on('error', (err) => {
        console.error('客户端连接错误:', err);
        proxySocket.end();
    });
});

关键说明 #

1. connect事件触发时，先拆分req.url得到目标主机和端口，建立与目标服务器的TCP连接。
2. 连接成功后返回200 Connection Established响应，完成隧道搭建。
3. 监听客户端socket的data事件，收集数据直到获取完整请求行，从中提取路径并拼接成完整HTTPS URL。
4. 解析完成后移除data事件监听，避免重复处理数据。

内容的提问来源于stack exchange，提问作者daego