如何让嵌入的Python运行时初始化时从内存加载标准库ZIP文件

核心问题分析 #

Python初始化阶段（尤其是Py_InitializeFromConfig）会优先加载内置编码/解码模块（如encodings相关），这类模块默认从磁盘或预编译的 frozen 模块读取。单纯通过module_search_paths指向磁盘zip文件无法满足内存加载需求，要完全重定向到内存块，需要结合自定义导入钩子与文件系统拦截逻辑。

具体实现步骤 #

1. 实现内存版Zip导入器 #

Python的zipimport默认依赖磁盘文件，需基于importlib.abc.Importer接口实现内存版导入器，注册后让Python从内存块读取zip内容。

先将Python标准库zip文件加载到内存缓冲区（char* std_zip_data，长度size_t std_zip_size），再通过C API注入自定义导入逻辑：

// 初始化基础隔离配置
PyStatus status;
PyConfig config;
PyConfig_InitIsolatedConfig(&config);
config.user_site_directory = 0;
config.site_import = 0;
config.use_frozen_modules = 1;
config.module_search_paths_set = 0; // 暂不设置磁盘路径

// 初始化到可执行Python代码的基础状态
status = Py_InitializeFromConfig(&config);
if (PyStatus_Exception(status)) {
    // 处理初始化错误
}

// 定义内存导入器的Python逻辑
const char* import_hook_code = R"(
import zipimport
import io
import sys

class MemoryZipImporter(zipimport.zipimporter):
    def __init__(self, zip_data):
        self.zip_file = io.BytesIO(zip_data)
        super().__init__('<memory-zip>')
        self._zipfile = zipimport._zipfile.ZipFile(self.zip_file)

# 注册导入器
importer = MemoryZipImporter(memory_zip_data)
sys.path_importer_cache['<memory-zip>'] = importer
sys.meta_path.append(importer)
sys.path.insert(0, '<memory-zip>')
)";

// 将内存zip数据传入Python环境
PyObject* zip_data_obj = PyBytes_FromStringAndSize(std_zip_data, std_zip_size);
PyObject* main_module = PyImport_AddModule("__main__");
PyObject_SetAttrString(main_module, "memory_zip_data", zip_data_obj);
Py_DECREF(zip_data_obj);

// 执行导入钩子代码
PyRun_SimpleString(import_hook_code);

// 手动启用site模块（按需）
PyRun_SimpleString("import site");

2. 拦截底层文件系统访问 #

部分核心模块（如_codecs）会直接调用C级文件读取函数，需通过Python的sys.open钩子拦截所有文件打开请求，重定向到内存块：

static PyObject* memory_file_open(PyObject* self, PyObject* args, PyObject* kwargs) {
    const char* path;
    const char* mode = "r";
    int buffering = -1;
    if (!PyArg_ParseTuple(args, "s|si", &path, &mode, &buffering)) {
        return NULL;
    }

    // 匹配标准库相关路径，重定向到内存zip读取
    if (strstr(path, "encodings") != NULL || strstr(path, "lib-dynload") != NULL) {
        // 从内存zip中提取目标文件内容（需自行实现zip解析逻辑）
        char* file_data = get_file_from_memory_zip(std_zip_data, std_zip_size, path);
        if (!file_data) {
            PyErr_SetString(PyExc_FileNotFoundError, "File not found in memory zip");
            return NULL;
        }
        PyObject* bytes_obj = PyBytes_FromString(file_data);
        free(file_data);
        
        PyObject* io_module = PyImport_ImportModule("io");
        PyObject* bytes_io = PyObject_CallMethod(io_module, "BytesIO", "O", bytes_obj);
        Py_DECREF(bytes_obj);
        Py_DECREF(io_module);
        return bytes_io;
    }

    // 非标准库路径调用原生open函数
    PyObject* builtins = PyImport_AddModule("builtins");
    PyObject* open_func = PyObject_GetAttrString(builtins, "open");
    PyObject* result = PyObject_Call(open_func, args, kwargs);
    Py_DECREF(open_func);
    return result;
}

// 注册文件拦截钩子
PyMethodDef open_hook_method = {"open", (PyCFunction)memory_file_open, METH_VARARGS | METH_KEYWORDS, ""};
PyObject* open_hook = PyCFunction_New(&open_hook_method, NULL);
PyObject* sys_module = PyImport_ImportModule("sys");
PyObject_SetAttrString(sys_module, "open", open_hook);
Py_DECREF(open_hook);
Py_DECREF(sys_module);

3. 强化隔离配置 #

在PyConfig中补充以下设置，彻底避免磁盘查找：

config.pythonpath_env = NULL; // 忽略系统PYTHONPATH环境变量
// 清空模块搜索路径，仅保留内存虚拟路径
PyWideStringList_Clear(&config.module_search_paths);

关键注意事项 #

• 内存zip解析：需自行实现从内存缓冲区提取文件的逻辑，可借助轻量级zip库（如minizip）或Python的zipfile模块在内存中解析。
• 初始化顺序：必须先初始化Python到基础状态，再注册导入器与文件钩子，避免初始化阶段核心模块从磁盘读取。
• 编码模块预加载：注册导入器后手动执行import encodings，确保核心编码模块优先从内存加载。

内容的提问来源于stack exchange，提问作者Frank