是否可在AWS Glue中安装Conda包及数据处理方案咨询

原生AWS Glue（包括Python Shell、Glue for Spark两种主流模式）不直接支持通过Conda安装第三方包。
Glue的运行时是AWS预构建的托管Amazon Linux环境，默认仅支持两种方式安装Python依赖：

• 通过作业参数--additional-python-modules安装PyPI源提供的、带manylinux兼容预编译wheel的纯Python/二进制包
• 通过--extra-py-files参数加载提前打包上传到S3的Python模块、wheel包
  整个运行环境没有预装conda，且作业执行时无root权限，没法直接在作业启动脚本里跑conda install命令装包。
  硬要在Glue里用scitools-iris只有一种非常折腾的变通方案：起一台和Glue运行时大版本完全一致的Amazon Linux EC2实例，在上面用conda安装scitools-iris及全量依赖（包括UDUNITS、PROJ、netCDF-C这类底层C/Fortran动态库），把整个conda环境打包成压缩包上传S3，通过Glue自定义运行时层或者--extra-py-files参数加载。这个方案坑非常多，大概率会遇到动态链接库缺失、GLIBC版本不兼容的问题，没有强制必须用Glue的要求完全没必要踩这个坑。
  补充说明：Glue 4.0及以上版本虽然支持自定义Docker镜像，理论上可以在镜像里预装conda和scitools-iris，但Glue的镜像基础结构有不少定制化要求，适配打包的工作量不小，性价比很低。

按落地成本从低到高排序：

• EMR Serverless：首推方案。EMR Serverless原生支持自定义Conda环境，你只需要写一份包含scitools-iris依赖的environment.yaml，提交作业时指定配置即可，服务会自动完成conda环境构建和依赖适配，不需要自己处理二进制兼容问题。它既支持单节点跑纯Python脚本处理小批量NetCDF文件，也支持搭Spark集群分布式处理PB级地学数据集，对NetCDF、GDAL这类地学常用库的适配非常成熟，基本不用自己做环境调试，运维成本为零。
• AWS Lambda 自定义容器镜像：如果单批处理任务运行时长不超过15分钟、单文件处理内存需求在10G以内，直接把本地调好的conda环境连同scitools-iris打包成Docker镜像推到ECR，用Lambda跑就行，冷启动快，调用成本极低，适合定时触发的小批量NetCDF处理任务。
• AWS Batch：如果处理逻辑有非常强的定制化需求（比如需要特定版本的系统库、要挂载超大共享存储、单任务运行时长超过数小时），直接用AWS Batch，可以完全复用本地Ubuntu环境的conda配置打包成自定义镜像，按需选择任意规格的CPU/GPU实例跑作业，没有运行时限制，适合超大规模离线NetCDF数据处理场景。

内容的提问来源于stack exchange，提问作者zerodark