如何将Python模块编译为单个Linux兼容.so文件并集成依赖？

嘿，这个需求我之前刚好处理过，给你几个靠谱的实现思路，既能生成单一的超级.so文件，还能轻松适配后续新增的模块依赖，给你详细说说：

方案1：用Cython + Setuptools 打包整个包为单一扩展 #

这是最常用的方法，核心思路是通过一个入口.pyx文件导入整个包的所有模块，让Cython把所有依赖都编译进同一个.so里。

步骤详解： #

假设你的包结构是这样的：

my_package/
├── __init__.py
├── module1.py
├── module2.py
└── sub_module/
    ├── __init__.py
    └── sub_module1.py

1. 创建入口.pyx文件
   在包的同级目录下新建一个main.pyx，把所有模块都导入进去：

   # 导入整个包的所有模块，确保所有代码都被Cython捕获
   from my_package import *
   from my_package.module1 import *
   from my_package.module2 import *
   from my_package.sub_module import *
   from my_package.sub_module.sub_module1 import *
   

2. 编写setup.py配置文件
   用Setuptools配置Cython编译规则，指定生成单一扩展：

   from setuptools import setup, Extension
   from Cython.Build import cythonize
   import sys
   
   ext_modules = [
       Extension(
           "my_super_lib",  # 最终生成的.so文件名
           sources=["main.pyx"],
           include_dirs=[sys.exec_prefix + "/include"],
           extra_compile_args=["-O3"],  # 开启编译优化，提升运行速度
       )
   ]
   
   setup(
       name="my_super_lib",
       ext_modules=cythonize(ext_modules, language_level="3"),  # 指定Python3版本
   )
   

3. 执行编译命令
   运行下面的命令，就能在当前目录生成my_super_lib.so：

   python setup.py build_ext --inplace
   

方案2：用Cython的--embed参数编译（适合有主入口的包） #

如果你的包有明确的主入口模块（比如my_package/__main__.py），可以用这个方法更直接地生成单一.so：

1. 创建包装器.pyx文件
   新建wrapper.pyx，导入整个包：

   from my_package import *
   

2. 编译为C代码
   用Cython把.pyx转成C文件：

   cython --embed -3 wrapper.pyx
   

3. 用GCC编译为.so
   把生成的wrapper.c编译成共享库，记得替换成你自己的Python版本路径：

   gcc -shared -pthread -fPIC -fwrapv -O2 -Wall -fno-strict-aliasing \
       -I/usr/include/python3.8 \  # 替换成你的Python include路径
       -o my_super_lib.so wrapper.c \
       -lpython3.8  # 替换成对应Python版本的库
   

自动适配新增模块的小技巧 #

要实现“新增模块自动包含”，不用每次手动修改.pyx的导入语句，写个小脚本自动生成导入代码就行：

新建generate_imports.py：

import os

def generate_imports(package_dir="my_package"):
    import_lines = []
    # 遍历包下所有.py文件
    for root, _, files in os.walk(package_dir):
        for file in files:
            if file.endswith(".py") and not file.startswith("__pycache__"):
                # 把文件路径转成模块路径
                rel_path = os.path.relpath(os.path.join(root, file), package_dir)
                module_name = rel_path.replace(".py", "").replace(os.sep, ".")
                import_lines.append(f"from my_package.{module_name} import *")
    
    # 写入main.pyx
    with open("main.pyx", "w") as f:
        f.write("\n".join(import_lines))

if __name__ == "__main__":
    generate_imports()

以后每次新增模块，先运行python generate_imports.py更新main.pyx，再执行编译命令，新模块就自动被包含进.so了。

几个注意点 #

• 确保所有模块都被导入：Cython只会编译被引用的代码，如果某个模块没被导入，就不会出现在最终的.so里。
• 第三方依赖无法打包：如果你的包依赖numpy、requests这类第三方库，客户环境还是需要安装这些库，Cython只编译你自己的代码。
• Python版本兼容性：生成的.so和编译时用的Python版本绑定，比如Python3.8编译的不能在Python3.10上运行，最好和客户约定好Python版本。

内容的提问来源于stack exchange，提问作者Vardan Gupta