Flink如何提交作业到指定TaskManager实现多应用故障隔离

Flink完全支持你需要的「指定应用绑定固定TaskManager、独占所有工作线程」的故障隔离需求，具体可以通过以下两种方案实现：

方案1：会话（Session）部署模式下用标签调度实现专属TM绑定 #

如果你们当前用的是共享集群的会话模式，可通过给TM打自定义标签的方式实现调度隔离：

• 给指定用于承载目标应用的TM添加专属标签，启动TM时新增配置参数：
  ./bin/taskmanager.sh start -Dtaskmanager.tags=dedicated-for-app01
  把需要分配给该应用的所有TM都打上相同的专属标签，示例里的dedicated-for-app01可替换为你自己的应用标识
• 提交目标应用时，指定仅调度到带对应标签的TM上，同时开启slot均匀分配配置：

  ./bin/flink run \
    -Djobmanager.scheduler.taskmanager.tag=dedicated-for-app01 \
    -Dcluster.evenly-spread-out-slots=true \
    -Dparallelism.default=4 \
    your-app.jar
  

  建议配置应用的总并行度刚好等于专属TM的总slot数，即可占满所有专属TM的工作线程，不会出现闲置slot被其他应用抢占的情况
• 若要彻底避免普通应用误用专属TM，提交普通业务应用时新增排除标签配置：
  -Djobmanager.scheduler.excluded-taskmanager.tags=dedicated-for-app01

方案2：用Per-Job/应用部署模式实现天然隔离 #

如果你们没有必须使用会话模式的要求，官方更推荐用Per-Job模式或者应用模式部署，天然实现TM级别的故障隔离：

• 这两种模式会为每个提交的应用单独启动一组专属的TaskManager，应用运行结束后专属TM自动销毁，完全不存在多应用共享TM的情况，单个应用异常只会销毁自身所属的TM进程，不会影响其他业务
• 提交时按需配置TM参数即可，比如要给单个应用配置2个TM、每个TM4个工作线程，只需要新增以下参数：
  -Dtaskmanager.numberOfTaskSlots=4 -Dparallelism.default=8

注意：无论使用哪种方案，都建议配置合理的TM进程重启策略，避免单TM偶发异常直接导致应用失败，参考配置：-Drestart-strategy=fixed-delay -Drestart-strategy.fixed-delay.attempts=3 -Drestart-strategy.fixed-delay.delay=10s

内容的提问来源于stack exchange，提问作者Abhishek