本地Docker环境运行AWS Glue 4.0脚本时遭遇'awsgluedq'模块找不到错误的问题求助
本地Docker环境运行AWS Glue 4.0脚本时遭遇'awsgluedq'模块找不到错误的问题求助
我现在正试着在本地Docker环境里跑AWS Glue脚本,脚本的导入部分是这样的:
import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from pyspark.context import SparkContext from awsglue.context import GlueContext from awsglue.job import Job from awsgluedq.transforms import EvaluateDataQuality
其他所有导入都正常工作,唯独awsgluedq这块一直出问题,运行时直接抛出错误:
ModuleNotFoundError: No module named 'awsgluedq'
我用来执行这个Glue脚本的Docker命令是:
docker run -it -v ~/.aws:/home/glue_user/.aws -v $WORKSPACE_LOCATION:/home/glue_user/workspace/ -e AWS_PROFILE=$PROFILE_NAME -e DISABLE_SSL=true --rm -p 4040:4040 -p 18080:18080 --name glue_spark_submit amazon/aws-glue-libs:glue_libs_4.0.0_image_01-arm64 spark-submit /home/glue_user/workspace/src/$SCRIPT_FILE_NAME
按照官方文档的说法,awsgluedq只需要Glue 3.0及以上版本就能用,可我明明用的是Glue 4.0的镜像啊,实在搞不懂哪里出问题了?
提前感谢各位的帮忙!
备注:内容来源于stack exchange,提问作者sdk
相关产品推荐
相关产品推荐

