如何在AWS EMR中导入S3存储的自定义Python模块？

核心原因 #

EMR集群的Python运行环境默认不会自动识别S3路径下的自定义模块，需要通过指定模块路径或打包依赖的方式让Spark找到这些文件。

具体解决方案 #

1. 先确认模块结构规范 #

确保你的代码仓库符合Python模块结构要求：

• 每个自定义目录（Cache、Helpers）下必须包含空的__init__.py文件，让Python识别为可导入的包。
• 最终目录结构应类似：

  s3://你的代码存储桶/
  ├── main.py
  ├── spark_main.py
  ├── Cache/
  │   ├── __init__.py
  │   └── redis_main.py
  └── Helpers/
      ├── __init__.py
      └── [其他自定义模块文件]
  

2. 方式一：通过spark-submit的--py-files参数打包依赖 #

这是最常用的Spark分布式作业依赖管理方式：

• 在本地或EC2实例上将自定义模块打包为zip文件：

  zip -r dependencies.zip spark_main.py Cache/ Helpers/
  

• 将打包好的dependencies.zip上传到S3的某个路径（比如s3://你的代码存储桶/dependencies.zip）
• 提交Spark作业时指定依赖包：

  spark-submit --py-files s3://你的代码存储桶/dependencies.zip s3://你的代码存储桶/main.py
  

3. 方式二：在代码中手动添加Python路径 #

在main.py的最开头添加代码，将S3代码根目录加入Python搜索路径：

import sys
from pyspark.sql import SparkSession

# 替换为你的S3代码根目录路径，建议使用s3a://前缀（EMR默认支持）
sys.path.append('s3a://你的代码存储桶/')

from spark_main import spark_process
from Cache import redis_main

# 剩余代码保持不变
file_root = 'flexible_dates_emr/parquet_examples/pe_1.parquet'  # 注意把\改成Linux环境的/
city_pairs = [('TLV', 'NYC', 'NYC', 'TLV'), ('TLV', 'ROM', 'ROM', 'TLV')]

def main():
    spark = SparkSession.builder.appName('Test').getOrCreate()
    spark_data = spark_process(spark, file_root, city_pairs)
    redis_main.redis_update_from_older_file(spark_data)
    print(spark_data)

if __name__ == '__main__':
    main()

注意：需确保EMR集群的IAM角色拥有访问该S3路径的权限。

4. 方式三：用Bootstrap脚本同步代码到集群节点 #

如果需要长期复用代码，可通过EMR的Bootstrap脚本将S3上的代码同步到每个节点的本地目录，并配置Python路径：

• 创建Bootstrap脚本（比如sync_code.sh）：

  #!/bin/bash
  # 同步S3代码到本地目录
  aws s3 sync s3://你的代码存储桶/ /home/hadoop/my_project/
  # 将本地代码目录加入Python路径
  echo "export PYTHONPATH=/home/hadoop/my_project/:$PYTHONPATH" >> /home/hadoop/.bashrc
  

• 将脚本上传到S3（比如s3://你的代码存储桶/bootstrap/sync_code.sh）
• 创建EMR集群时指定该Bootstrap脚本，集群启动时会自动完成代码同步和路径配置。

额外注意事项 #

• 代码中路径的分隔符要使用Linux风格的/，而非Windows的\（比如file_root里的路径需要修改）。
• 确认EMR集群的IAM角色具备访问S3代码桶的权限（至少包含s3:GetObject、s3:ListBucket操作）。

内容的提问来源于stack exchange，提问作者Daniel Avigdor