使用hudi-flink-bundle.jar时Flink SQL作业无法加载s3-fs-hadoop插件

详情 #

我们在S3环境下使用Flink 1.17与Hudi 0.13.1。按照Hudi官方文档的指导，制作了自定义Flink Docker镜像，将hudi-flink-bundle.jar放置到flink/lib目录；同时为s3-fs-hadoop插件创建了专属插件文件夹，从flink/opt目录复制了对应的插件jar包。

我们的Flink作业jar包未包含hudi-flink-bundle或s3-fs-hadoop相关库，但运行作业时抛出如下异常：

java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.s3a.S3AFileSystem not found

若将s3-fs-hadoop插件jar包复制到flink/lib目录，作业可正常运行，但该插件jar包含大量与我们作业jar中依赖版本冲突的库。

我们已查阅Flink类加载调试文档，但文档中未说明如何将插件jar的依赖加载到应用类加载器中。

内容的提问来源于stack exchange，提问作者D Perkins