C++开发Python模块中互斥锁分配引发Python崩溃问题排查

问题场景 #

开发面向Windows 10平台的C库，需同时支持C多线程应用和Python 3.9.11调用，采用Boost.Python 1.82.0封装Python API。C++类中使用std::mutex保护临界区，Visual Studio 2022 Debug构建下Python调用完全正常，但Release构建下调用含锁操作的方法时直接崩溃——执行到mMutex.lock();前的输出后，Python进程直接退出，无报错信息。

相关代码 #

C++类定义：

#include <boost/python.hpp>  
#include <mutex>  
#include <iostream>  

using namespace boost::python;  

class PyAPI {  
public:  
    PyAPI() { }  
    PyAPI(const PyAPI& ref) { }  
    virtual ~PyAPI() {}  
    void test_wrapper() {  
        std::cout << "before mMutex.lock();" << std::endl;  
        mMutex.lock();  
        std::cout << "after  mMutex.lock();" << std::endl;  
        mMutex.unlock();  
        std::cout << "after  mMutex.unlock();" << std::endl;  
    }  
    std::mutex mMutex;  
};  

Boost.Python模块定义：

BOOST_PYTHON_MODULE(PyMutex){  
    class_<PyAPI>("PyMutex", init<>())  
        .def("test", &PyAPI::test_wrapper)  
    ;  
}

Python执行过程：

Python 3.9.11 (tags/v3.9.11:2de452f, Mar 16 2022, 14:33:45) [MSC v.1929 64 bit  (AMD64)] on win32  

> import PyMutex  
> A = PyMutex.PyMutex()  
> A.test()  
> before mMutex.lock();  

问题原因分析 #

1. 非法对象复制操作：std::mutex是不可复制/移动的类型，但空实现的复制构造函数会导致Boost.Python管理对象时（如隐式复制），新对象的mMutex未正确初始化。Debug模式下的内存填充/检查机制掩盖了问题，Release模式的编译器优化直接触发崩溃。
2. 编译选项不匹配：Release模式的/O2优化或运行时库（MD/MT）选择不一致，可能导致Boost.Python与标准库线程组件的内存布局、调用约定冲突。
3. 手动锁操作的潜在风险：虽然崩溃发生在lock()前，但手动锁操作的非RAII写法会增加异常场景下的锁泄漏风险，也可能间接加剧内存管理问题。

解决方案 #

1. 禁用对象复制，修复mutex初始化 #

删除空复制构造函数和赋值运算符，明确禁止包含mutex的对象被复制：

class PyAPI {  
public:  
    PyAPI() = default;  
    // 禁止复制与赋值
    PyAPI(const PyAPI&) = delete;  
    PyAPI& operator=(const PyAPI&) = delete;  
    virtual ~PyAPI() = default;  

    void test_wrapper() {  
        std::cout << "before mMutex.lock();" << std::endl;  
        mMutex.lock();  
        std::cout << "after  mMutex.lock();" << std::endl;  
        mMutex.unlock();  
        std::cout << "after  mMutex.unlock();" << std::endl;  
    }  

private:  
    std::mutex mMutex; // 设为私有，避免外部非法访问
};  

2. 使用RAII锁替代手动锁操作 #

用std::lock_guard实现自动锁管理，确保锁的正确释放，同时简化代码：

void test_wrapper() {  
    std::cout << "before lock;" << std::endl;  
    std::lock_guard<std::mutex> lock(mMutex); // 作用域内自动加锁，离开时自动解锁
    std::cout << "after lock;" << std::endl;  
    // 临界区业务代码
    std::cout << "before unlock;" << std::endl;  
}  

3. 统一编译选项 #

• 确保Boost.Python、C++库、Python解释器的架构一致（同为64位或32位）；
• 运行时库选择匹配（如均使用动态运行时库/MD，禁止混合/MD和/MT）；
• 暂时禁用Release模式的/O2优化，改用/O1或/Od测试，确认是否为优化导致的问题，再逐步排查具体优化选项。

4. 验证版本兼容性 #

确认Boost.Python 1.82.0是针对Python 3.9.11编译的，编译Boost时的Python路径、版本与运行时完全匹配。

验证 #

修改代码并调整编译选项后，重新编译Release版本，执行Python测试代码，应能正常输出所有日志，无崩溃现象。

内容的提问来源于stack exchange，提问作者Anatoly G