Python C API调用修改后Python模块方法失效问题排查

我开发了一款应用，调用同目录下Python文件中的方法，希望能跟踪Python文件的变更，在文件修改后重新加载模块并调用更新后的方法。以下是加载模块的代码：

auto p_name = PyUnicode_FromString(_python_file_name.c_str());
if (!p_name) {
    ...
}
auto module = PyImport_Import(p_name);
if (!module) {
    ...
}
_dict = PyModule_GetDict(module);
if (!_dict) {
    ...

以及调用函数的代码：

tryUpdateFile();  //checks when the file was changed, and if necessary, uploads a new one
auto p_func = PyDict_GetItemString(_dict, "createPacket");
if (!p_func || !PyCallable_Check(p_func)) {
    ...
}
p_return = PyObject_CallFunction(p_func, "i", id);
auto res = parseStringFromPython(p_return);   //parse return to string
Py_XDECREF(p_return);
return res;

我原本期望修改Python模块后，PyObject_CallFunction能调用新的方法，但实际仍调用旧方法，请问我哪里操作有误？

核心问题 #

你的代码只在初始化阶段加载了一次Python模块，之后一直复用旧模块的字典_dict。即便tryUpdateFile()检测到文件变更，也没有执行模块重新加载的逻辑，更没有更新_dict指向新模块的内容，所以调用的始终是旧版本的函数。

具体修正步骤 #

• 必须在tryUpdateFile()中实现模块重载：当检测到文件修改后，不能仅替换文件，需要重新加载模块并更新引用：

  1. 先释放旧模块和字典的引用（避免内存泄漏）：Py_XDECREF(_dict); Py_XDECREF(_module);（注意要保存原module对象，不能只存字典）
  2. 重新调用PyImport_Import(p_name)加载新模块，或者用PyImport_ReloadModule(_module)重载已有模块
  3. 更新_dict为新模块的字典：_dict = PyModule_GetDict(new_module);

• 修正后的tryUpdateFile()示例：

void tryUpdateFile() {
    if (isFileChanged(_python_file_name)) {
        // 释放旧资源
        Py_XDECREF(_dict);
        Py_XDECREF(_module);

        // 重新加载模块
        auto p_name = PyUnicode_FromString(_python_file_name.c_str());
        if (!p_name) {
            // 错误处理逻辑
            return;
        }
        _module = PyImport_Import(p_name);
        Py_DECREF(p_name);
        
        if (!_module) {
            // 错误处理逻辑
            return;
        }
        _dict = PyModule_GetDict(_module);
        if (!_dict) {
            // 清理无效引用
            Py_DECREF(_module);
            _module = nullptr;
            return;
        }
    }
}

额外注意点 #

• 要把_module作为类成员变量保存，不能只存_dict，因为重载模块需要依赖模块对象
• 模块重载时，Python会重新执行整个模块代码，模块级全局变量会被重置，要确认这符合你的业务逻辑
• 如果目标模块依赖其他模块，若需要同步更新依赖模块，可考虑递归调用重载，但单模块场景一般不需要

内容的提问来源于stack exchange，提问作者Feterman