如何解析含非UTF-8字符的HTTPS请求？Rust反向代理疑难

问题根源 #

HTTPS请求在TCP链路中传输的是TLS加密二进制数据，并非明文UTF-8文本。直接将其转码必然出现乱码，客户端提示"Secure Connection has Failed"是因为代理未完成TLS握手，无法建立合法的安全连接。

具体解决步骤 #

• 停止对加密流做UTF-8转码：这是逻辑错误，加密数据无法直接解析为文本，必须先完成TLS解密。
• 实现TLS握手逻辑：
  • 如果坚持无外部依赖，需要手动实现TLS 1.2/1.3的完整握手流程（证书交换、密钥协商、加解密等），但此方案复杂度极高，涉及大量密码学细节，不推荐从零实现。
  • 若允许使用第三方crate，之前SSL相关crate无效大概率是用法错误。以rustls为例，代理需同时处理两端TLS连接：
    1. 与客户端完成TLS握手，解密得到明文HTTP请求。
    2. 用明文请求中的目标地址，与后端服务器建立TLS连接。
    3. 转发请求、接收响应后，加密回传给客户端。
• 反向代理正确流程（HTTPS场景）：
  1. 监听TCP端口，接收客户端连接。
  2. 初始化TLS服务端上下文，与客户端完成握手。
  3. 读取解密后的明文请求，解析目标主机。
  4. 初始化TLS客户端上下文，连接目标服务器。
  5. 转发请求、接收响应，加密后回传给客户端。
• 调试技巧：
  • 用hex::encode打印原始字节流，确认是否为TLS握手包（通常以0x16 0x03开头）。
  • 检查代理证书是否被客户端信任，握手失败常因证书不被认可。

代码调整示例 #

替换原有的UTF-8转码逻辑，改用rustls处理TLS连接：

use rustls::{ServerConfig, ServerConnection, Certificate, PrivateKey};
use std::fs::File;
use std::io::{BufReader, Read};
use std::net::TcpListener;

// 加载代理的证书和私钥
fn load_certs(path: &str) -> Vec<Certificate> {
    let file = File::open(path).unwrap();
    let mut reader = BufReader::new(file);
    rustls_pemfile::certs(&mut reader).unwrap()
        .into_iter()
        .map(Certificate)
        .collect()
}

fn load_private_key(path: &str) -> PrivateKey {
    let file = File::open(path).unwrap();
    let mut reader = BufReader::new(file);
    rustls_pemfile::rsa_private_keys(&mut reader).unwrap()[0].into()
}

fn main() {
    let certs = load_certs("proxy.crt");
    let key = load_private_key("proxy.key");

    let config = ServerConfig::builder()
        .with_safe_defaults()
        .with_no_client_auth()
        .with_single_cert(certs, key)
        .unwrap();

    let listener = TcpListener::bind("0.0.0.0:443").unwrap();
    for stream in listener.incoming() {
        let mut stream = stream.unwrap();
        let mut conn = ServerConnection::new(config.clone()).unwrap();
        
        // 完成TLS握手
        conn.complete_io(&mut stream).unwrap();
        
        // 读取解密后的明文请求
        let mut buf = [0; 4096];
        let n = conn.read(&mut buf).unwrap();
        let request = String::from_utf8_lossy(&buf[..n]);
        println!("Received request:\n{}", request);
        
        // 后续：解析请求、连接后端服务器、转发数据...
    }
}

内容的提问来源于stack exchange，提问作者Evan Schwartzentruber