编译依赖Python3.8的C程序如何嵌入Python3.10/3.11

你当前的思路存在一个关键误区：你的C程序编译时已经链接了Python3.8的libpython3.8.so，运行时会优先加载这个库——也就是说，哪怕你修改PyConfig的路径参数，底层运行的还是Python3.8的解释器核心，只是尝试加载3.10/3.11的模块，这必然会因为ABI版本不兼容导致错误（比如模块无法加载、程序崩溃等）。

要实现不重新编译就能切换Python版本，必须放弃编译时静态链接特定版本的libpython，改为运行时动态加载目标版本的libpython库。

解决方案：动态加载目标版本的libpython #

1. 修改C代码，使用动态加载方式 #

替换原来的代码为以下实现，通过dlopen（Linux）加载目标版本的libpython，再通过函数指针调用Python C API：

#include <stdio.h>
#include <dlfcn.h>
#include <Python.h>

// 定义Python API函数的类型别名
typedef void (*PyConfig_InitPythonConfig_t)(PyConfig*);
typedef int (*PyConfig_Read_t)(PyConfig*);
typedef int (*Py_InitializeFromConfig_t)(const PyConfig*);
typedef void (*Py_Finalize_t)(void);
typedef int (*PyRun_SimpleString_t)(const char*);
typedef void (*PyConfig_Clear_t)(PyConfig*);
typedef int (*PyWideStringList_Clear_t)(PyWideStringList*);
typedef int (*PyWideStringList_Append_t)(PyWideStringList*, const wchar_t*);

int main(int argc, char* argv[]) {
    // 目标Python版本的libpython路径，可通过命令行参数传入实现切换
    const char* libpython_path = "/usr/lib/x86_64-linux-gnu/libpython3.10.so";
    if (argc > 1) {
        libpython_path = argv[1];
    }

    // 动态加载libpython
    void* libpython = dlopen(libpython_path, RTLD_NOW);
    if (!libpython) {
        fprintf(stderr, "无法加载libpython: %s\n", dlerror());
        return 1;
    }

    // 获取所有需要的Python API函数指针
    PyConfig_InitPythonConfig_t PyConfig_InitPythonConfig = dlsym(libpython, "PyConfig_InitPythonConfig");
    PyConfig_Read_t PyConfig_Read = dlsym(libpython, "PyConfig_Read");
    Py_InitializeFromConfig_t Py_InitializeFromConfig = dlsym(libpython, "Py_InitializeFromConfig");
    Py_Finalize_t Py_Finalize = dlsym(libpython, "Py_Finalize");
    PyRun_SimpleString_t PyRun_SimpleString = dlsym(libpython, "PyRun_SimpleString");
    PyConfig_Clear_t PyConfig_Clear = dlsym(libpython, "PyConfig_Clear");
    PyWideStringList_Clear_t PyWideStringList_Clear = dlsym(libpython, "PyWideStringList_Clear");
    PyWideStringList_Append_t PyWideStringList_Append = dlsym(libpython, "PyWideStringList_Append");

    if (!PyConfig_InitPythonConfig || !PyConfig_Read || !Py_InitializeFromConfig || !Py_Finalize || !PyRun_SimpleString || !PyConfig_Clear || !PyWideStringList_Clear || !PyWideStringList_Append) {
        fprintf(stderr, "获取Python API函数失败: %s\n", dlerror());
        dlclose(libpython);
        return 1;
    }

    // 初始化PyConfig
    PyConfig config;
    PyConfig_InitPythonConfig(&config);

    // 设置目标Python的核心路径参数，可通过目标Python版本的sys模块获取正确值
    // 示例：运行 python3.10 -c "import sys; print(sys.executable); print(sys.base_prefix)"
    config.program_name = L"/usr/bin/python3.10";
    config.base_executable = L"/usr/bin/python3.10";
    config.executable = L"/usr/bin/python3.10";
    config.base_prefix = L"/usr";
    config.base_exec_prefix = L"/usr";
    config.prefix = L"/usr";
    config.exec_prefix = L"/usr";

    // 禁用site模块导入，避免加载系统全局的site-packages
    config.site_import = 0;
    // 手动设置模块搜索路径，对应目标Python版本的库路径
    config.module_search_paths_set = 1;
    PyWideStringList_Clear(&config.module_search_paths);
    PyWideStringList_Append(&config.module_search_paths, L"/usr/lib/python310.zip");
    PyWideStringList_Append(&config.module_search_paths, L"/usr/lib/python3.10");
    PyWideStringList_Append(&config.module_search_paths, L"/usr/lib/python3.10/lib-dynload");

    // 读取配置并初始化Python解释器
    if (PyConfig_Read(&config) != 0) {
        fprintf(stderr, "读取PyConfig失败\n");
        PyConfig_Clear(&config);
        dlclose(libpython);
        return 1;
    }

    if (Py_InitializeFromConfig(&config) != 0) {
        fprintf(stderr, "初始化Python解释器失败\n");
        PyConfig_Clear(&config);
        dlclose(libpython);
        return 1;
    }

    // 测试运行Python代码
    PyRun_SimpleString(
        "import os\n"
        "print('当前Python版本:', os.sys.version)\n"
        "print('模块搜索路径:', os.sys.path)\n"
    );

    // 清理资源
    Py_Finalize();
    PyConfig_Clear(&config);
    dlclose(libpython);

    return 0;
}

2. 编译命令（Linux） #

编译时不要链接特定版本的libpython，只需要链接动态加载库dl：

gcc -o multi_version_embed multi_version_embed.c -ldl

3. 运行方式 #

运行时指定目标版本的libpython路径即可切换：

# 运行Python3.10
./multi_version_embed /usr/lib/x86_64-linux-gnu/libpython3.10.so

# 运行Python3.11
./multi_version_embed /usr/lib/x86_64-linux-gnu/libpython3.11.so

关键注意事项 #

• 路径适配：不同发行版的libpython路径不同，比如CentOS的路径是/usr/lib64/libpython3.10.so，可以通过find /usr -name "libpython3.*.so"查找。
• 依赖安装：确保目标版本的Python开发包已安装（比如Ubuntu的python3.10-dev、python3.11-dev）。
• ABI兼容性：虽然动态加载可以切换版本，但如果你的C代码使用了Python C API中不稳定的特性，可能在跨版本时出现兼容问题，建议尽量使用Python官方标注为稳定的API。

内容的提问来源于stack exchange，提问作者nikoladsp