Python 3.11如何从字节序列加载模块而不写入文件？

需要从服务器接收的.pyc字节序列（仅存于变量，不落地到本地文件）创建Python模块，无需生成物理文件。

此前找到的从字符串源码创建模块的方法无法适配场景：

spec = importlib.util.spec_from_loader("modulename", loader=None) # 创建spec
module = importlib.util.module_from_spec(spec) # 创建模块
exec(source, module.__dict__) # 执行模块
# 以便在其他程序文件中导入它
sys.modules[name] = module
globals()[name] = module

目标.pyc文件由py_compile.compile("sourcefile.py", "destfile.pyc")生成，尝试旧方案marshal.loads(bytes[8:])在Python 3.11中报错：

import marshal
import py_compile


py_compile.compile("source.py", "compiled.pyc")
with open("compiled.pyc", "rb") as f:
    module_bytes = f.read()

module = marshal.loads(module_bytes[8:])

报错信息：

Traceback (most recent call last):
  File "C:\test.py", line 9, in <module>
    module = marshal.loads(module_bytes[8:])
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
ValueError: bad marshal data (unknown type code)

（注：本地创建.pyc仅用于模拟服务器接收的数据）

请问Python 3.11中是否可像处理字符串源码那样，直接从字节序列无文件创建模块？

Python 3.11的.pyc格式已更新：头部长度从8字节增至16字节，且字节码不再通过marshal序列化存储，因此旧方案失效。可通过以下两种方法实现从内存字节序列加载模块：

方法一：直接解析字节码并创建模块 #

利用Python内部的字节码解析函数，跳过.pyc头部后直接执行字节码：

import importlib.util
import sys
import types

def load_module_from_pyc_bytes(module_name, pyc_bytes):
    # 验证pyc与当前Python版本匹配（可选但推荐）
    magic_number = pyc_bytes[:4]
    if magic_number != sys.implementation.cache_tag.encode()[:4]:
        raise ValueError("pyc字节序列的版本与当前Python环境不匹配")
    
    # 跳过16字节的pyc头部，解析字节码对象
    code_obj = importlib._bootstrap_external._code_from_bytecode(pyc_bytes[16:])
    
    # 创建空模块对象
    module = types.ModuleType(module_name)
    module.__file__ = f"<{module_name}-in-memory-pyc>"
    module.__cached__ = f"<{module_name}-in-memory-pyc>"
    
    # 执行字节码，填充模块内容
    exec(code_obj, module.__dict__)
    
    # 注册到sys.modules，支持后续import导入
    sys.modules[module_name] = module
    return module

# 使用示例
# 假设pyc_bytes是从服务器接收的字节序列
# my_module = load_module_from_pyc_bytes("my_module", pyc_bytes)
# 之后可直接使用my_module或import my_module

方法二：自定义Loader类实现加载 #

通过实现importlib.abc.Loader接口，标准化模块加载流程：

import importlib.util
import sys
from importlib.abc import Loader
from importlib._bootstrap_external import _code_from_bytecode

class MemoryPyCLoader(Loader):
    def __init__(self, pyc_bytes):
        self.pyc_bytes = pyc_bytes
    
    def get_code(self, fullname):
        # 跳过16字节头部，返回解析后的字节码对象
        return _code_from_bytecode(self.pyc_bytes[16:])

def load_module_from_pyc(module_name, pyc_bytes):
    # 版本验证
    if pyc_bytes[:4] != sys.implementation.cache_tag.encode()[:4]:
        raise ValueError("pyc文件版本与当前Python环境不兼容")
    
    # 创建模块规格并加载
    spec = importlib.util.spec_from_loader(module_name, MemoryPyCLoader(pyc_bytes))
    module = importlib.util.module_from_spec(spec)
    spec.loader.exec_module(module)
    
    # 注册模块
    sys.modules[module_name] = module
    return module

关键说明 #

• Python 3.11+的.pyc头部包含魔法数、时间戳、文件大小、哈希值等信息，共16字节，必须跳过才能获取有效字节码。
• importlib._bootstrap_external._code_from_bytecode是Python内部提供的字节码解析函数，能正确处理3.10+版本的.pyc字节码格式。
• 两种方法都会将模块注册到sys.modules，确保后续可通过import语句正常导入使用。

内容的提问来源于stack exchange，提问作者Gygabrain