本地Scala环境中AWSGlueETL依赖无法解析问题咨询
AWS Glue ETL 依赖解析失败的解决方案
AWSGlueETL 依赖并不在Maven中央仓库中,直接配置会导致解析失败——官方文档标注其为provided是因为Glue集群运行环境会自带该依赖,但本地开发需要额外配置仓库或手动安装jar包。该依赖的groupId和artifactId并未更换,以下是具体解决方法:
方法一:添加AWS Maven仓库到pom.xml
在pom.xml中添加AWS的私有仓库配置,让Maven能定位到该依赖:
<repositories> <repository> <id>aws-maven</id> <url>https://aws.oss.sonatype.org/content/repositories/releases/</url> </repository> </repositories>
保留原有的依赖配置即可(本地开发时可临时将scope改为compile,打包部署到Glue时改回provided):
<dependency> <groupId>com.amazonaws</groupId> <artifactId>AWSGlueETL</artifactId> <version>2.0</version> <scope>provided</scope> </dependency>
方法二:手动安装jar包到本地Maven仓库
如果无法访问AWS仓库,可从AWS Glue本地开发包中获取对应jar文件,执行以下命令安装到本地仓库:
mvn install:install-file -Dfile=path/to/AWSGlueETL-2.0.jar -DgroupId=com.amazonaws -DartifactId=AWSGlueETL -Dversion=2.0 -Dpackaging=jar
注意替换path/to/AWSGlueETL-2.0.jar为你实际的jar文件路径。
内容的提问来源于stack exchange,提问作者Chandrasekar S
相关产品推荐
相关产品推荐

