如何仅上传一次jar包即可重复运行Flink任务？

下面是三种可落地的实现方案，可根据你的场景选择：

方案1：Jar包预放置到集群classpath #

• 操作：将240MB的任务Jar包上传到Standalone集群所有Master、Worker节点的$FLINK_HOME/lib目录下，重启整个Flink集群生效。后续提交任务无需携带该Jar包，仅指定主类即可，提交命令示例：

./bin/flink run -c com.your.business.MainClass

• 适用场景：Jar包迭代频率低，长期稳定运行的任务。
• 注意事项：Jar包更新时需同步替换所有节点lib目录下的文件并重启集群。

方案2：配置集群共享类路径 #

• 操作：如果集群有公共共享存储（如HDFS、NFS），可将Jar包上传到共享存储路径，在flink-conf.yaml中配置pipeline.classpaths参数，值为Jar包的共享路径：

pipeline.classpaths: hdfs://your-hdfs-address/flink-jars/your-task.jar

配置生效后所有节点都可以直接读取该Jar，提交任务无需上传。

• 适用场景：有多套任务共用依赖、不想逐个节点分发Jar的场景。
• 注意事项：需保证所有集群节点对配置的共享路径有可读权限。

方案3：拆分Jar分离依赖与业务代码 #

• 操作：将Jar包拆分为「依赖包」和「业务代码包」两部分，占体积绝大多数的不变依赖包提前放到集群classpath或共享路径，每次提交仅传输几KB到几MB大小的业务代码包，大幅降低上传耗时。
• 适用场景：业务代码迭代频繁，需要经常提交任务的场景。
• 注意事项：需保证预放置的依赖版本与业务代码编译时使用的依赖版本完全一致，避免类冲突。

内容的提问来源于stack exchange，提问作者zys