MacOS下将Python嵌入C共享库时部分内置模块崩溃问题

核心原因 #

在MacOS上，主Python（/Library/Frameworks/Python.framework/Versions/3.10/bin/python3）通过ctypes加载包含嵌入式Python的共享库时，会触发符号冲突与内存分配器交叉调用问题：

• 两个Python实例的内存分配器（如malloc/free、Python内置pymalloc）相互干扰，导致释放未分配内存或访问已释放内存，引发段错误或中止陷阱。
• 嵌入式Python未正确隔离运行环境，错误加载主Python的系统模块，引发版本不兼容问题。
• 代码中Py_SetProgramName使用Windows风格的python.exe，MacOS下路径与命名错误，导致Python无法正确定位自身库与模块。

解决步骤 #

1. 重新编译嵌入式Python，强化环境隔离 #

修改configure命令，指定独立安装目录并启用框架模式（MacOS下更利于隔离）：

cd python310
./configure --prefix=$(pwd)/install --exec-prefix=$(pwd)/install --enable-shared --enable-optimizations --with-lto --enable-framework
make && make altinstall

• --prefix=$(pwd)/install：将编译产物安装到源码目录下的install子目录，完全隔离主Python。
• --enable-framework：生成MacOS框架结构，便于后续正确配置运行环境。

2. 修正嵌入式Python初始化代码（test_interpreter.c） #

正确设置程序名称、PYTHONHOME，并规范内存管理：

#include "python310/install/Frameworks/Python.framework/Versions/3.10/include/python3.10/Python.h"
#include <stdlib.h>

int test() {
    // 设置程序名称（指向自己编译的Python可执行文件）
    wchar_t program_name[] = L"python310/install/bin/python3.10";
    Py_SetProgramName(program_name);

    // 设置PYTHONHOME，指向嵌入式Python的框架目录
    wchar_t python_home[] = L"python310/install/Frameworks/Python.framework/Versions/3.10";
    Py_SetPythonHome(python_home);

    Py_Initialize();

    // 添加当前目录到sys.path
    PyObject* sysPath = PySys_GetObject("path");
    if (sysPath != NULL) {
        PyObject* cur_dir = PyUnicode_FromString(".");
        if (cur_dir != NULL) {
            PyList_Append(sysPath, cur_dir);
            Py_DECREF(cur_dir);
        }
    }

    PyRun_SimpleString("import test_import");

    Py_Finalize();
    return 0;
}

• 替换Python.h路径为编译后框架内的头文件路径。
• 通过Py_SetPythonHome明确指定嵌入式Python的运行根目录，避免加载主Python的模块。
• 将PyUnicode_FromString("")改为PyUnicode_FromString(".")，明确指定当前工作目录。

3. 正确编译共享库libtest.so #

编译时需链接自己编译的Python共享库，添加位置无关代码标识，并设置运行时库搜索路径：

gcc -fPIC -shared test_interpreter.c -o libtest.so \
-Ipython310/install/Frameworks/Python.framework/Versions/3.10/include/python3.10 \
-Lpython310/install/Frameworks/Python.framework/Versions/3.10/lib \
-lpython3.10 \
-Wl,-rpath,@loader_path/python310/install/Frameworks/Python.framework/Versions/3.10/lib

• -fPIC：生成位置无关代码，符合共享库要求。
• -I/-L：指定头文件与库文件的路径，指向自己编译的Python。
• -lpython3.10：链接嵌入式Python的共享库。
• -Wl,-rpath,...：硬编码运行时库搜索路径，确保共享库加载时优先使用嵌入式Python的库。

4. 调整主Python调用代码（test_interpreter.py） #

设置环境变量，确保嵌入式Python优先加载自身库：

import os
import ctypes

# 优先加载嵌入式Python的库，避免主Python库干扰
os.environ['DYLD_LIBRARY_PATH'] = './python310/install/Frameworks/Python.framework/Versions/3.10/lib:' + os.environ.get('DYLD_LIBRARY_PATH', '')

lib = ctypes.CDLL("./libtest.so")
tp = ctypes.CFUNCTYPE(ctypes.c_int)
test = tp(("test", lib))
test()

5. 验证模块导入 #

修改test_import.py测试内置模块：

print("Inside python")
import decimal
print("Successfully imported decimal")
import sqlite3
print("Successfully imported sqlite3")

运行主Python脚本验证：

/Library/Frameworks/Python.framework/Versions/3.10/bin/python3 test_interpreter.py

额外注意事项 #

• 同一进程内运行两个Python实例本身存在风险，若非必要建议调整架构。必须使用时，严格的环境隔离是核心。
• MacOS的DYLD_LIBRARY_PATH可能受系统安全机制限制，若出现问题可依赖编译时的-rpath硬编码路径，而非环境变量。
• 确保嵌入式Python与主Python的编译选项一致（如是否启用--with-pymalloc），避免内存分配器差异引发冲突。

内容的提问来源于stack exchange，提问作者ragna