Flink部署超时超60秒：EMR集群部署Jar包遇问题求原因

作为经常在EMR上跑Flink的开发者，我来帮你拆解这个超时问题的几个关键可能性：

• YARN集群资源不够用
  你用的是1主2从的默认EMR集群，默认配置下主节点可能会预留部分资源给集群管理组件，你指定-yn 2要启动2个TaskManager，但YARN的可用内存/CPU可能没法满足需求。可以在主节点跑yarn node -list看所有节点状态，yarn top实时查看资源占用情况。如果节点的空闲资源不足以分配Flink需要的Container，就会一直等待，触发60秒超时。

• Flink版本不兼容
  你本地打包用的Flink版本，和EMR集群预装的版本可能不匹配——比如你本地用Flink 1.16，EMR默认是1.14，这种版本差异会导致YARN启动Container时出现隐性错误，进而卡住超时。先在集群上执行flink --version确认版本，再对比你Jar包依赖的Flink版本。

• 节点间通信出问题
  3节点集群看起来简单，但主节点和从节点之间可能存在网络延迟、防火墙限制，导致YARN的ResourceManager没法和NodeManager正常通信，没法启动Flink的TaskManager容器。可以先在主节点ping从节点确认连通性，再去/var/log/yarn/目录下看ResourceManager和NodeManager的日志（比如yarn-yarn-resourcemanager-*.log），里面大概率会有通信失败的具体报错。

• Flink启动参数太“贪心”
  你只指定了-yn 2，但没设置JobManager和TaskManager的内存，默认情况下Flink可能申请的资源超过了YARN单节点的配额。试试加上-yjm（JobManager内存，单位MB）和-ytm（TaskManager内存）参数，比如：

  flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 2048 -c Main /home/hadoop/myjar-0.1.jar
  

  降低资源申请量，看能不能正常启动。

• YARN队列资源受限
  EMR默认的YARN队列可能有资源上限，或者当前队列里已经跑了其他任务占满了资源。执行yarn queue -status default查看默认队列的资源使用情况，确认队列有足够的空闲资源分配给你的Flink Job。

最后提醒下，YARN的日志是排查这类问题的关键，一定要去日志目录里找更详细的错误信息，比这个超时提示有用多了。

内容的提问来源于stack exchange，提问作者ankita.gulati