我之前帮不少开发者解决过类似的Glue集成Cython模块的问题，这里给你一套经过验证的最佳流程：

1. 用Glue兼容的环境本地编译Cython模块 #

AWS Glue的运行环境是特定的（比如Glue 4.0基于Amazon Linux 2，Python 3.10），直接在个人电脑上编译很可能出现兼容性问题，所以必须用和目标Glue版本匹配的Docker镜像来编译。

步骤如下：

• 拉取对应Glue版本的Docker镜像（以Glue 4.0为例）：

  docker pull amazon/aws-glue-libs:glue_libs_4.0.0_image_01
  

• 运行容器，挂载你的本地代码目录（假设你的regression.pyx和setup.py在./cython-code下）：

  docker run -it -v ./cython-code:/home/glue_user/workspace/ amazon/aws-glue-libs:glue_libs_4.0.0_image_01 bash
  

• 在容器内安装Cython（部分镜像可能已预装，若没有则执行）：

  pip install cython
  

• 编写setup.py脚本，内容如下：

  from setuptools import setup, Extension
  from Cython.Build import cythonize
  
  ext_modules = [
      Extension(
          "regression",
          ["regression.pyx"],
          extra_compile_args=['-O3']  # 开启编译优化，进一步提升执行速度
      )
  ]
  
  setup(
      name="regression",
      ext_modules=cythonize(ext_modules)
  )
  

• 执行编译命令：

  python setup.py build_ext --inplace
  

  编译完成后，你会得到一个类似regression.cpython-310-x86_64-linux-gnu.so的文件，这就是我们需要的编译后模块。

2. 打包模块并上传到S3 #

• 把编译好的.so文件打包成zip包（注意不要包含多余目录结构，直接将.so放在zip根目录）：

  zip regression.zip regression.cpython-310-x86_64-linux-gnu.so
  

• 将这个zip包上传到你的AWS S3存储桶，比如s3://your-glue-libs/regression.zip

3. 配置Glue作业加载该模块 #

• 打开AWS Glue控制台，找到目标作业进入编辑页面：
  • 在作业参数中添加--extra-py-files参数，值为你的S3 zip路径：s3://your-glue-libs/regression.zip
  • 或者在Python library path中填写该S3路径（不同Glue版本配置位置略有差异，找对应依赖配置项即可）
• 在你的Glue作业Python代码中，就可以正常导入使用了：

  from regression import reg
  # 后续即可调用reg相关函数完成逻辑
  

关键注意事项 #

• 版本严格匹配：务必确保Docker镜像的Glue版本、Python版本和你实际使用的Glue作业完全一致，否则会出现ImportError或运行时错误。
• 仅上传编译产物：无需上传.pyx或.c源码文件，只需要上传包含.so的zip包即可。
• 本地先验证：可以先在Docker容器内测试模块导入是否正常，确认没问题再上传到S3，能减少Glue作业的调试成本。

内容的提问来源于stack exchange，提问作者kaat001