You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

本地Docker环境运行AWS Glue 4.0脚本时遭遇'awsgluedq'模块找不到错误的问题求助

本地Docker环境运行AWS Glue 4.0脚本时遭遇'awsgluedq'模块找不到错误的问题求助

我现在正试着在本地Docker环境里跑AWS Glue脚本,脚本的导入部分是这样的:

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
from awsgluedq.transforms import EvaluateDataQuality

其他所有导入都正常工作,唯独awsgluedq这块一直出问题,运行时直接抛出错误:

ModuleNotFoundError: No module named 'awsgluedq'

我用来执行这个Glue脚本的Docker命令是:

docker run -it -v ~/.aws:/home/glue_user/.aws -v $WORKSPACE_LOCATION:/home/glue_user/workspace/ -e AWS_PROFILE=$PROFILE_NAME -e DISABLE_SSL=true --rm -p 4040:4040 -p 18080:18080 --name glue_spark_submit amazon/aws-glue-libs:glue_libs_4.0.0_image_01-arm64 spark-submit /home/glue_user/workspace/src/$SCRIPT_FILE_NAME

按照官方文档的说法,awsgluedq只需要Glue 3.0及以上版本就能用,可我明明用的是Glue 4.0的镜像啊,实在搞不懂哪里出问题了?

提前感谢各位的帮忙!

备注:内容来源于stack exchange,提问作者sdk

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.04.14 17:48:05