TLS 1.3握手失败场景下SSL_CTX_set_keylog_callback未调用问题咨询

1. SSL_CTX_set_keylog_callback为何未触发？ #

是的，这个回调不会在Server Hello阶段返回密钥，原因如下：

• TLS 1.3的密钥派生流程要在客户端验证Server Hello合法性后才启动。你遇到的invalid session id错误，说明客户端在处理Server Hello时直接判定会话ID无效，握手流程提前终止，根本没走到密钥生成、派生的步骤。
• OpenSSL的SSL_CTX_set_keylog_callback仅在成功生成握手密钥、应用密钥等密钥材料后才会触发，握手中断时不会输出任何密钥。

2. 如何解密Server Hello后的加密报文（或调试握手参数）？ #

当前握手在Server Hello阶段就失败，客户端未生成可用解密密钥，常规keylog解密方式不可行，可通过以下方式调试：

方法一：修复会话ID问题，让握手正常完成 #

错误核心是会话ID无效，大概率是客户端尝试复用无效会话（如会话过期、服务器不支持复用、会话ID不匹配）。先禁用会话复用：

• 在客户端代码中添加：

  SSL_CTX_set_session_cache_mode(ctx, SSL_SESS_CACHE_OFF);
  

  或设置选项：

  SSL_CTX_set_options(ctx, SSL_OP_NO_SESSION_RESUMPTION_ON_RENEGOTIATION);
  

  禁用后重新发起握手，keylog回调会正常触发，生成的密钥可用于Wireshark解密所有加密报文。

方法二：直接捕获明文握手参数（无需解密） #

如果必须调试当前失败场景的握手细节，可使用OpenSSL的消息回调替代keylog：

• 注册SSL_CTX_set_msg_callback，在回调中直接打印握手阶段的明文消息（Client Hello、Server Hello的所有参数，包括会话ID、加密套件、扩展字段等）。示例代码片段：

  void msg_callback(int write_p, int version, int content_type, const void *buf, size_t len, SSL *ssl, void *arg) {
      if (content_type == SSL3_RT_HANDSHAKE) {
          printf("Handshake message type: %d, length: %zu\n", ((const unsigned char*)buf)[0], len);
          // 可进一步调用OpenSSL的握手消息解析函数（如tls_parse_handshake）获取更详细参数
      }
  }
  
  // 初始化时注册回调
  SSL_CTX_set_msg_callback(ctx, msg_callback);
  

• 也可通过环境变量开启OpenSSL详细调试日志：

  export OPENSSL_DEBUG_FILE=ssl_debug.log
  export OPENSSL_TRACE=all
  

  运行客户端后，日志会包含握手阶段的所有明文参数细节，无需解密即可排查会话ID不匹配的原因。

方法三：手动解析抓包的Server Hello #

TLS 1.3的Server Hello是明文传输的，可直接在Wireshark中查看：

• 对比客户端Client Hello中的会话ID（若客户端尝试复用会话会携带）与服务器Server Hello中的会话ID是否一致；
• 若客户端未携带会话ID，但服务器返回非空会话ID，也可能导致客户端判定为无效。

内容的提问来源于stack exchange，提问作者Prakash GiBBs