如何解决Flink应用程序在YARN上部署失败的错误

部署报错信息快照：

排查及解决步骤 #

1. 依赖兼容性校验 #

• 确认Flink部署包是否匹配集群Hadoop版本：若使用无Hadoop依赖的Flink官方包，需提前配置HADOOP_CLASSPATH环境变量，命令如下：

  export HADOOP_CLASSPATH=`hadoop classpath`
  

  也可直接下载与集群Hadoop版本对应的带Hadoop依赖的Flink发行包，避免依赖缺失问题。
• 排查自定义任务Jar包依赖冲突：开发Flink任务时将Hadoop、Flink核心依赖的scope设置为provided，打包时不将这类依赖打入Jar包，避免和集群内置依赖版本冲突。

2. 环境配置校验 #

• 确认集群环境变量配置正确：所有YARN节点需配置HADOOP_HOME、HADOOP_CONF_DIR、YARN_CONF_DIR，且Flink进程有权限读取这些路径下的配置文件。
• 确认YARN队列权限：提交任务的用户需拥有目标YARN队列的提交权限，可执行yarn queue -status <队列名称>验证权限，若权限不足联系集群管理员开通。

3. 资源&参数校验 #

• 确认YARN集群有足够的可用资源：可通过YARN WebUI查看剩余CPU、内存资源，若资源不足可适当调小Flink任务的jobmanager.memory.process.size、taskmanager.memory.process.size配置参数，等待集群释放资源后再提交。
• 确认提交命令参数正确：YARN部署模式下需指定正确的部署目标，per-job模式为-t yarn-per-job，application模式为-t yarn-application，避免参数错误导致提交失败。

4. 日志精确定位 #

如果以上步骤未解决问题，可开启Flink debug日志提交任务，获取更详细的报错信息：

./bin/flink run -t yarn-per-job -Droot.logger=DEBUG,console 你的任务包.jar

也可直接在YARN的应用日志目录下查看Flink JobManager的启动日志，定位具体报错原因。

内容的提问来源于stack exchange，提问作者zulv