C++环境下OpenSSL-1.0.1c的SSL_connect()调用失败，求调试建议

结合你遇到的这个OpenSSL 1.0.1c下SSL_connect()返回-1、伴随WSAGetLastError()返回WSAEINPROGRESS的问题，我给你几个实际调试方向，都是我和身边开发者踩过的坑：

• 先确认套接字的阻塞模式
  WSAEINPROGRESS最常见的场景是非阻塞套接字上的操作尚未完成。OpenSSL在非阻塞模式下不会一直等待操作完成，而是返回这个错误告诉你需要重试。你可以先检查套接字是否被设置为非阻塞：

  u_long mode = 0;
  ioctlsocket(sock, FIONBIO, &mode);
  if (mode != 0) {
      // 套接字是non-blocking，需要处理重试逻辑
      int ret;
      while ((ret = SSL_connect(ssl)) == -1) {
          int ssl_err = SSL_get_error(ssl, ret);
          if (ssl_err == SSL_ERROR_WANT_READ || ssl_err == SSL_ERROR_WANT_WRITE) {
              // 等待套接字就绪，用select检测可读/可写状态
              fd_set read_fds, write_fds;
              FD_ZERO(&read_fds);
              FD_ZERO(&write_fds);
              FD_SET(sock, &read_fds);
              FD_SET(sock, &write_fds);
              select(sock + 1, &read_fds, &write_fds, NULL, NULL);
          } else {
              // 真正的错误，终止循环并处理
              break;
          }
      }
  }
  

  注意OpenSSL 1.0.1c对非阻塞的重试逻辑要求很严格，一定要区分SSL_ERROR_WANT_READ和SSL_ERROR_WANT_WRITE，分别对应需要等待套接字可读或可写。

• 检查SSL上下文的初始化流程
  老版本OpenSSL的初始化很容易出错，比如漏加算法库、证书链不完整、SSL版本配置错误：

  • 确保初始化顺序正确：先调用SSL_library_init()，再OpenSSL_add_all_algorithms()，最后加载证书/密钥；
  • 可以尝试开启兼容选项：SSL_CTX_set_options(ctx, SSL_OP_ALL | SSL_OP_NO_SSLv2)，避免因为版本协商失败导致握手中断；
  • 验证服务器证书是否被客户端信任，比如是否正确加载了CA证书到SSL上下文。

• 深挖Wireshark抓包的握手细节
  从抓包中重点看SSL握手的阶段：

  • 客户端是否发送了Client Hello？如果没有，可能是套接字连接本身有问题；
  • 服务器是否回复了Server Hello、Certificate、Server Hello Done？如果服务器回复了，但客户端这边卡住，大概率是非阻塞模式下没有正确等待；
  • 有没有出现Alert包？比如服务器返回Handshake Failure，这时候ERR_get_error()应该有值，但你这里返回0，可能是还没到真正出错的阶段。

• 开启OpenSSL调试日志
  这是定位握手问题的利器，老版本OpenSSL可以通过回调函数输出详细日志：

  void ssl_debug_log(const char* msg, int len) {
      fprintf(stderr, "[SSL DEBUG] %.*s\n", len, msg);
  }
  

  在创建SSL上下文后设置回调：

  SSL_CTX_set_msg_callback(ctx, ssl_debug_log);
  SSL_CTX_set_msg_callback_arg(ctx, NULL);
  

  日志会输出每一步握手的细节，比如TLS1 write client hello、TLS1 read server hello，能帮你精准定位到哪一步卡住了。

• 考虑升级OpenSSL版本
  OpenSSL 1.0.1c是2012年的版本，存在大量已知的安全漏洞和兼容性问题，很多老版本的握手bug在后续版本中已经修复。如果业务允许，升级到1.1.1系列（长期支持版本）可能直接解决问题。

内容的提问来源于stack exchange，提问作者tsschnell