Flink单集群下不同CPU负载作业的Task Manager资源分配问题
Flink多作业差异化资源配置方案
单集群资源分配实现方法
不需要单独为CPU密集型作业搭建集群,Flink 1.10及以上版本通过细粒度资源管理、自适应调度器、slot共享组能力,即可在单集群内实现不同作业的差异化资源配置,具体操作步骤如下:
- 第一步:集群层面开启细粒度资源管理
在flink-conf.yaml中添加配置:cluster.fine-grained-resource-management.enabled: true - 第二步:按作业类型配置提交参数
非CPU密集型作业(共4个)
按照你要求的2倍CPU数配置slot,比如单TM分配4vCPU时,slot数设为8,提交作业时指定专属slot共享组,避免和CPU密集型作业共享资源:
CPU密集型作业(共6个)flink run \ -Djobmanager.scheduler=adaptive \ -Dtaskmanager.cpu.cores=4 \ -Dtaskmanager.numberOfTaskSlots=8 \ -Dslot-sharing-group.name=non-cpu-job-[作业唯一标识] \ 你的作业jar包路径
按照vCPU/2的规则配置slot数,比如单TM分配8vCPU时,slot数设为4,保证每个slot独占2核CPU,避免资源争抢:flink run \ -Djobmanager.scheduler=adaptive \ -Dtaskmanager.cpu.cores=8 \ -Dtaskmanager.numberOfTaskSlots=4 \ -Dslot-sharing-group.name=cpu-job-[作业唯一标识] \ 你的作业jar包路径 - 第三步:配置资源隔离加强保障
如果你用YARN或K8s作为底层资源调度层,可以给不同类型作业的TM配置节点标签,把CPU密集型作业调度到高主频CPU的专属节点组,非CPU密集型作业调度到普通节点组,实现物理级资源隔离,完全避免资源争抢。同时在flink-conf.yaml中添加配置taskmanager.resource.cpu.limit-factor: 1.0,限制TM实际CPU使用不超过配置值。
独立集群适用场景
只有当CPU密集型作业对稳定性要求极高,不允许任何其他作业的波动影响业务,或者需要单独做版本升级、权限管控时,才需要考虑搭建独立集群。常规场景下用单集群配置即可满足需求,还能降低运维成本,提升整体资源利用率。
内容的提问来源于stack exchange,提问作者gaurav miglani
相关产品推荐
相关产品推荐

