使用PEM_read_bio_PUBKEY后Windows DLL无法卸载的问题求助

核心问题 #

你的Windows DLL在引入OpenSSL 3.2.1解析公钥的代码后，无法被第三方程序正常卸载，已尝试自定义上下文、遗留清理函数但无效，核心原因是OpenSSL 3.x的全局资源未被正确清理，导致DLL的引用计数无法归零。

可行解决方案 #

1. 使用OpenSSL 3.x标准清理函数替代遗留接口 #

OpenSSL 3.x已废弃EVP_cleanup()等遗留函数，改用OPENSSL_cleanup()作为全局资源清理的入口，同时需要清理线程本地错误状态：
在DLL的DllMain函数的DLL_PROCESS_DETACH分支中添加以下代码：

BOOL WINAPI DllMain(HINSTANCE hinstDLL, DWORD fdwReason, LPVOID lpvReserved)
{
    switch (fdwReason)
    {
        case DLL_PROCESS_DETACH:
            // 先释放你的业务资源
            // ...
            // OpenSSL 3.x标准清理流程
            OPENSSL_cleanup();
            ERR_remove_thread_state(nullptr); // 清理线程本地错误信息
            CRYPTO_cleanup_all_ex_data();
            break;
        // 其他分支...
    }
    return TRUE;
}

2. 严格控制自定义上下文的生命周期 #

使用OSSL_LIB_CTX时，要确保所有依赖该上下文的资源都在上下文销毁前释放，并且显式卸载加载的提供者：

// 创建自定义上下文并仅加载所需提供者
OSSL_LIB_CTX* lib_ctx = OSSL_LIB_CTX_new();
if (lib_ctx == nullptr) { /* 错误处理 */ }
if (!OSSL_PROVIDER_load(lib_ctx, "default")) { /* 错误处理 */ }

// 解析公钥
const std::string& public_key = my_public_key;
auto bio = BIO_new(BIO_s_mem());
if (!BIO_write(bio, public_key.c_str(), static_cast<int>(public_key.size()))) { /* 错误处理 */ }

EVP_PKEY* pkey = nullptr; 
if (!PEM_read_bio_PUBKEY_ex(bio, &pkey, nullptr, nullptr, lib_ctx, nullptr) || pkey == nullptr) { /* 错误处理 */ }

// 释放资源顺序：先业务资源，再上下文相关
if (pkey) EVP_PKEY_free(pkey);
if (bio) BIO_free_all(bio);
OSSL_PROVIDER_unload(lib_ctx, "default"); // 显式卸载提供者
OSSL_LIB_CTX_free(lib_ctx);

3. 排查未释放的隐式引擎/资源 #

OpenSSL解析公钥时可能会自动加载算法引擎（如RSA、EC），这些引擎可能持有全局引用，尝试显式清理：

// 在DLL_PROCESS_DETACH中添加
ENGINE_cleanup(); // 兼容3.x的引擎清理接口

4. 定位DLL卸载失败的具体原因 #

• 在Visual Studio调试器中，通过Debug > Windows > Modules查看DLL的状态，确认是否真的未卸载
• 使用WinDbg的!dlls命令查看DLL的引用计数，定位哪个资源导致引用计数不为0
• 用Process Explorer检查是否有未关闭的句柄或内存块引用你的DLL

5. 静态链接编译选项检查 #

确保你的DLL和OpenSSL静态库使用一致的编译选项：

• 使用/MT（多线程静态发布）或/MTd（多线程静态调试）
• 避免混合使用/MD（多线程动态）和静态链接的OpenSSL库，这会导致全局资源管理混乱

内容的提问来源于stack exchange，提问作者Tadzys