Python C扩展：获取自定义类型避免重复导入及全局变量释放

一、静态全局变量的资源释放方案 #

你当前用静态全局变量缓存MyPythonType的方案是可行的，要在模块销毁时释放该变量的引用，只需给模块定义清理函数，让Python在回收模块时自动调用：

1. 定义模块清理与释放函数 #

在C文件中添加以下函数：

// 清理模块资源：释放myPythonType的引用
static void mymodule_clear(PyObject *module) {
    if (myPythonType != NULL) {
        Py_DECREF(myPythonType);
        myPythonType = NULL;
    }
}

// 最终释放模块对象（可添加其他全局资源的释放逻辑）
static void mymodule_free(PyObject *module) {
    Py_TYPE(module)->tp_free(module);
}

2. 更新模块定义结构体 #

修改你的PyModuleDef结构体，指定m_clear和m_free字段：

static struct PyModuleDef mymodule_def = {
    PyModuleDef_HEAD_INIT,
    "mymodule",  // 你的模块名称
    NULL,        // 模块文档字符串（可选）
    -1,          // 模块状态大小：-1表示使用全局状态
    NULL,        // 模块方法表（如果有）
    NULL,        // 插槽（可选）
    mymodule_clear,  // 绑定清理函数
    mymodule_free    // 绑定释放函数
};

3. 调整模块初始化函数 #

确保PyInit_mymodule返回PyModule_Create创建的模块对象：

PyMODINIT_FUNC
PyInit_mymodule(void)
{
    PyObject *module = PyModule_Create(&mymodule_def);
    if (!module)
        return NULL;

    // 导入目标模块并获取类型
    PyObject* myPythonModule = PyImport_ImportModule("my.python.module");
    if (!myPythonModule) {
        Py_DECREF(module);
        return NULL;
    }

    myPythonType = PyObject_GetAttrString(myPythonModule, "MyPythonType");
    Py_DECREF(myPythonModule);
    if (!myPythonType) {
        Py_DECREF(module);
        return NULL;
    }

    return module;
}

当Python的垃圾回收机制销毁你的模块时，会自动调用mymodule_clear，完成myPythonType的引用释放。

二、更优方案：使用模块状态存储类型引用 #

静态全局变量在多解释器环境（如Python 3的子解释器）下会存在状态共享问题，更健壮的方式是将MyPythonType存储在模块的专属状态中：

1. 定义模块状态结构体 #

// 存储模块的私有状态
typedef struct {
    PyObject *myPythonType;
} MyModuleState;

2. 更新模块定义 #

修改PyModuleDef的m_size字段为状态结构体的大小：

static struct PyModuleDef mymodule_def = {
    PyModuleDef_HEAD_INIT,
    "mymodule",
    NULL,
    sizeof(MyModuleState),  // 指定状态结构体大小
    NULL,
    NULL,
    mymodule_clear,
    mymodule_free
};

3. 调整初始化函数，将类型存入状态 #

PyMODINIT_FUNC
PyInit_mymodule(void)
{
    PyObject *module = PyModule_Create(&mymodule_def);
    if (!module)
        return NULL;

    // 获取模块状态
    MyModuleState *state = (MyModuleState *)PyModule_GetState(module);
    if (!state) {
        Py_DECREF(module);
        return NULL;
    }

    // 导入模块并获取类型，存入状态
    PyObject* myPythonModule = PyImport_ImportModule("my.python.module");
    if (!myPythonModule) {
        Py_DECREF(module);
        return NULL;
    }

    state->myPythonType = PyObject_GetAttrString(myPythonModule, "MyPythonType");
    Py_DECREF(myPythonModule);
    if (!state->myPythonType) {
        Py_DECREF(module);
        return NULL;
    }

    return module;
}

4. 修改清理函数，释放状态中的类型引用 #

static void mymodule_clear(PyObject *module) {
    MyModuleState *state = (MyModuleState *)PyModule_GetState(module);
    if (state->myPythonType != NULL) {
        Py_DECREF(state->myPythonType);
        state->myPythonType = NULL;
    }
}

5. 在业务函数中获取状态中的类型 #

static PyObject* foo(PyObject* self, PyObject* args) 
{
    // 从self获取模块对象（self为模块方法的第一个参数时有效）
    PyObject *module = PyModule_GetModule(self);
    if (!module)
        return NULL;

    MyModuleState *state = (MyModuleState *)PyModule_GetState(module);
    if (!state || !state->myPythonType)
        return NULL;

    // 示例：创建MyPythonType实例
    PyObject *instance = PyObject_CallObject(state->myPythonType, args);
    return instance;
}

关键注意事项 #

• PyObject_GetAttrString返回的是新引用，所以我们需要在清理时调用Py_DECREF来释放，避免内存泄漏。
• 模块状态方案支持多解释器，每个模块实例拥有独立的状态，不会互相干扰，是Python官方推荐的模块资源管理方式。

内容的提问来源于stack exchange，提问作者qbizzle68