AWS Glue V4作业导入自定义Python库失败：ModuleNotFoundError排查

问题背景 #

运行AWS Glue 4.x批处理作业时遇到以下问题：

• 无法导入Glue未自带的translate和langdetect库
• 即便Glue环境自带nltk，导入时仍出现regex._regex、_sqlite3等依赖缺失错误

已尝试的方案：

• 使用--extra-py-files参数指定S3上的zip包、解压目录、whl文件
• 使用--additional-python-modules参数指定S3上的whl文件或直接指定PyPI包名
• 尝试Docker自定义镜像
• 切换Glue 3.x/4.x版本，角色已具备S3全读权限，Python版本匹配（3.x），通过Terraform管理资源

针对性解决方案 #

1. 正确使用--additional-python-modules安装第三方库 #

--additional-python-modules是Glue安装第三方库的推荐方式，避免用--extra-py-files处理库文件：

• 直接从PyPI拉取：无需上传到S3，直接指定包名+版本（确保版本兼容Python 3.10，Glue 4.x默认Python版本）：

  --additional-python-modules translate==3.6.1,langdetect==1.0.9,nltk==3.8.1,regex==2023.10.3
  

  该参数会自动处理依赖传递（比如translate依赖的requests）
• 使用S3上的whl文件：若需私有包，确保whl是x86_64架构、manylinux兼容的版本（Glue运行环境为Amazon Linux 2 x86_64），路径格式为：

  --additional-python-modules s3://your-bucket/packages/translate-3.6.1-py3-none-any.whl,s3://your-bucket/packages/langdetect-1.0.9-py3-none-any.whl
  

2. 修复NLTK依赖缺失问题 #

Glue自带的NLTK可能缺少底层C扩展依赖（如regex）或系统级库（如_sqlite3），解决方式：

• 用--additional-python-modules安装完整的NLTK及依赖，覆盖Glue自带版本（如上例中的nltk==3.8.1,regex==2023.10.3）
• 若需NLTK语料库，提前下载语料包上传至S3，在脚本中指定路径并同步：

  import boto3
  import nltk
  import os
  
  # 从S3同步语料到/tmp（Glue可写目录）
  s3 = boto3.client('s3')
  s3.download_file('your-bucket', 'nltk_data/corpora/wordnet.zip', '/tmp/wordnet.zip')
  os.system('unzip /tmp/wordnet.zip -d /tmp/nltk_data/corpora/')
  
  # 指定NLTK数据路径
  nltk.data.path.append('/tmp/nltk_data')
  

3. 修正Terraform配置中的参数传递问题 #

检查Terraform中Glue Job的default_arguments配置，避免参数格式错误：

resource "aws_glue_job" "batch_processing" {
  name     = "glue-batch-job"
  role_arn = aws_iam_role.glue_role.arn
  command {
    name = "glueetl"
    script_location = "s3://your-bucket/scripts/your-script.py"
  }

  default_arguments = {
    "--additional-python-modules" = "translate==3.6.1,langdetect==1.0.9,nltk==3.8.1,regex==2023.10.3"
    "--job-language"              = "python"
    # 若需额外辅助脚本，用--extra-py-files，不要用它装库
    "--extra-py-files"            = "s3://your-bucket/scripts/helper-functions.zip"
  }

  glue_version = "4.0"
  number_of_workers = 2
  worker_type = "G.1X"
}

• 确保--additional-python-modules值为单个字符串，包名用逗号分隔，无额外转义
• 避免多个配置块覆盖default_arguments

4. Docker自定义镜像的正确构建方式 #

若用自定义镜像，必须基于官方Glue镜像构建，确保环境兼容：

# 基于Glue 4.x官方镜像
FROM amazon/aws-glue-libs:glue-4.0

# 安装所需库
RUN pip install --no-cache-dir translate==3.6.1 langdetect==1.0.9 nltk==3.8.1 regex==2023.10.3

# 若需预下载NLTK语料
RUN python -m nltk.downloader wordnet -d /opt/nltk_data

• 镜像推送到ECR后，在Glue Job配置中指定镜像URI，并确保角色具备ECR拉取权限

5. 日志排查关键步骤 #

查看CloudWatch中Glue作业的日志（路径：/aws-glue/jobs/output），定位具体错误：

• 若出现ImportError: No module named 'xxx'：检查包名是否正确，版本是否兼容
• 若出现ImportError: /usr/lib64/libsqlite3.so.0: version 'SQLITE_3.33.0' not found：需通过自定义镜像安装更高版本的sqlite3
• 若出现OSError: cannot load library 'libc.so.6'：确认whl包是manylinux兼容的x86_64版本

内容的提问来源于stack exchange，提问作者Kangoor