OpenSSL DTLS服务端如何配置将各握手消息拆分到独立数据包

问题现象 #

• 基于OpenSSL开发DTLS服务端时，默认会将同一握手flight中的多条握手消息合并封装到单个UDP数据包传输，该机制可降低包量、提升传输效率，但部分场景要求每条握手消息单独封装为独立数据包发送
• 默认合并行为的典型表现：
  • Server Hello与Certificate消息被封装在同一个UDP数据包
  • Server Key Exchange与Server Hello Done消息被封装在同一个UDP数据包
• 预期目标：所有握手消息单独封装，对应独立的UDP数据包发送

版本适配解决方案 #

OpenSSL 3.0 及以上版本 #

该版本已提供原生配置开关，直接调用API设置选项即可，无需额外逻辑：

// 方案1：对SSL_CTX全局生效，所有基于该CTX创建的连接均禁用消息合并
SSL_CTX_set_options(ctx, SSL_OP_NO_TX_COALESCE);

// 方案2：仅对单个连接生效，在握手启动前对对应SSL对象设置即可
SSL_set_options(ssl, SSL_OP_NO_TX_COALESCE);

SSL_OP_NO_TX_COALESCE选项作用：禁止OpenSSL在发送时将多条待发TLS/DTLS记录合并到同一个网络数据包，设置后每条握手消息会被单独封装为独立DTLS记录，通过单独UDP包发出。

OpenSSL 1.1.1 及更早版本 #

该分支版本未提供原生开关，可通过注册发送消息回调+主动刷新发送缓冲区的方式实现：

1. 实现握手消息回调，在检测到发送方向的握手消息写入缓冲区后，立即触发刷新，强制将当前消息发出，不等待后续消息合并：

static void handshake_flush_cb(int is_send, int ver, int content_type,
                               const void *buf, size_t len, SSL *ssl, void *arg)
{
    // 仅拦截发送方向的握手类型消息
    if (is_send == 1 && content_type == SSL3_RT_HANDSHAKE) {
        // 立即刷新发送缓冲区，发送已缓存的当前握手消息
        SSL_flush(ssl);
    }
}

2. 在握手启动前，为SSL连接注册该回调：

SSL_set_msg_callback(ssl, handshake_flush_cb);

注意：回调内不要执行任何修改SSL连接状态的操作，避免干扰正常握手流程。

效果验证 #

通过抓包即可确认配置是否生效：

• 未生效时，同flight的多条握手消息同属一个UDP包
• 生效后，Server Hello、Certificate、Server Key Exchange、Server Hello Done每条握手消息都对应独立的UDP数据包，符合预期。

内容的提问来源于stack exchange，提问作者Nitin Mathur