OpenSSL BIO_Read返回负值：HTTPS服务器BIO模式握手失败

结合你提到Socket模式正常、BIO模式握手后立刻出现BIO_read返回负值且无OpenSSL错误日志的情况，问题大概率出在BIO链的构建、握手流程或者错误处理逻辑上，以下是针对性的排查和解决方案：

1. 检查BIO链的构建顺序 #

BIO模式下，SSL BIO必须作为上层BIO，底层socket BIO作为下层，数据需要从SSL BIO流向socket BIO。如果顺序颠倒，会导致读写逻辑完全混乱，出现无意义的错误返回。

正确的构建方式： #

// 假设已创建配置好SSL_CTX* ctx，以及已连接的socketfd
BIO *socket_bio = BIO_new_socket(socketfd, BIO_NOCLOSE); // 保留socket控制权，避免BIO自动关闭
BIO *ssl_bio = BIO_new_ssl(ctx, 1); // 1表示自动重试

// 将socket BIO压入SSL BIO下层，形成SSL BIO -> socket BIO的链
BIO_push(ssl_bio, socket_bio);

错误示例：若先将SSL BIO压入socket BIO下层，会导致TLS握手后读写直接操作原始socket，跳过SSL加密层，必然出错。

2. 确保TLS握手完全完成 #

BIO_do_handshake可能需要多次调用才能完成握手（比如需要重试读写），如果只调用一次就直接执行BIO_read，可能握手并未真正完成，导致后续读操作失败。

正确的握手流程： #

int handshake_ret;
while ((handshake_ret = BIO_do_handshake(ssl_bio)) <= 0) {
    if (BIO_should_retry(ssl_bio)) {
        // 等待socket可读写，用select/poll实现
        fd_set read_fds, write_fds;
        FD_ZERO(&read_fds);
        FD_ZERO(&write_fds);
        FD_SET(socketfd, &read_fds);
        FD_SET(socketfd, &write_fds);
        select(socketfd + 1, &read_fds, &write_fds, NULL, NULL);
        continue;
    }
    // 握手真失败，处理错误
    fprintf(stderr, "Handshake failed\n");
    print_openssl_errors();
    BIO_free_all(ssl_bio);
    close(socketfd);
    return -1;
}

3. 修复BIO_read后的错误日志获取逻辑 #

你提到无法获取OpenSSL错误队列，可能是错误处理时机不对——必须在BIO_read返回负值后立即调用ERR_get_error循环读取，中间不能插入其他OpenSSL操作（否则错误队列会被清空）。

错误处理代码示例： #

char buf[4096];
int bytes_read = BIO_read(ssl_bio, buf, sizeof(buf) - 1);
if (bytes_read < 0) {
    // 先读取OpenSSL错误
    unsigned long err_code;
    while ((err_code = ERR_get_error()) != 0) {
        char err_msg[256];
        ERR_error_string_n(err_code, err_msg, sizeof(err_msg));
        fprintf(stderr, "OpenSSL Error: %s\n", err_msg);
    }
    // 再检查底层socket状态，排除socket层面错误
    int sock_err;
    socklen_t err_len = sizeof(sock_err);
    getsockopt(socketfd, SOL_SOCKET, SO_ERROR, &sock_err, &err_len);
    if (sock_err != 0) {
        fprintf(stderr, "Socket Error: %s\n", strerror(sock_err));
    }
    // 关闭连接
    BIO_free_all(ssl_bio);
    close(socketfd);
    return -1;
}

4. 检查BIO的释放顺序 #

关闭连接时，必须使用BIO_free_all一次性释放整个BIO链，不要单独关闭底层socket或单个BIO，否则会导致BIO内部状态异常，提前断开连接。

正确的释放方式： #

// 发送SSL close_notify关闭连接
BIO_shutdown(ssl_bio);
// 释放整个BIO链，包括SSL BIO和socket BIO
BIO_free_all(ssl_bio);
// 若之前设置了BIO_NOCLOSE，手动关闭socket
close(socketfd);

关键提示 #

因为你Socket模式正常，说明SSL证书、密钥以及SSL_CTX的配置是正确的，无需怀疑这些部分，重点聚焦在BIO的使用流程上。按照上述步骤调整代码后，应该能解决握手后BIO_read报错的问题。

内容的提问来源于stack exchange，提问作者nojdonos