MicroK8s集群多测试任务并发时Pod资源动态调度方案咨询

一、多测试任务的动态Pod配额分配 #

基于**自定义控制器（Operator）**实现多测试ReplicaSet的自动缩扩容逻辑：

• 给每个测试ReplicaSet打上唯一标识标签，比如test-id: batch-001，用来区分不同测试任务
• 控制器监听ReplicaSet的创建/删除事件：
  • 新测试ReplicaSet创建时，统计当前运行中的测试任务总数，将每个ReplicaSet的副本数调整为50 / 任务数（2个任务时各分配25个）
  • 当某个测试任务完成（ReplicaSet被删除或所有Pod终止），立即将剩余测试ReplicaSet的副本数拉满至50
• 用Kubebuilder快速搭建轻量控制器，代码逻辑简单，适配MicroK8s环境无额外复杂依赖

二、维持集群CPU使用率稳定在80% #

结合HPA（Horizontal Pod Autoscaler）+ 自定义集群指标实现：

• 给测试Pod设置明确的CPU请求，比如requests.cpu: 100m，确保Kubernetes能准确计算资源占用
• 开启MicroK8s的prometheus和metrics-server插件，用Prometheus采集集群节点CPU使用率，再通过Prometheus Adapter将该集群级指标暴露给Kubernetes API
• 给测试ReplicaSet配置HPA，将**集群CPU使用率80%**设为扩容目标，同时设置副本数上下限minReplicas: 1, maxReplicas: 50
• 多任务场景下，自定义控制器会优先限制ReplicaSet副本数；单任务时HPA自动将副本数拉满到50，同时保证集群CPU占用不超阈值

三、新增节点时自动增加15个Pod #

通过监听节点事件的自定义控制器实现：

• 监听Node资源的Ready状态变更，当新节点加入集群：
  • 单任务时直接给当前测试ReplicaSet增加15个副本；多任务时按配额比例分配（比如2个任务各加7-8个）
• 也可以联动Cluster Autoscaler，节点扩容后自动调整HPA的maxReplicas值（例如从50调至65），让HPA自动完成扩容

四、MicroK8s环境配置要点 #

• 开启必需插件：microk8s enable prometheus metrics-server rbac，确保指标采集和权限控制正常
• 自定义控制器镜像可直接导入MicroK8s本地仓库：microk8s ctr images import your-controller-image.tar，再部署为Deployment
• 测试Pod设置podAntiAffinity，尽量分散到不同节点，避免单节点资源过载

内容的提问来源于stack exchange，提问作者Attila Szobonya