如何为Spring Batch Kubernetes Worker Pod配置Spring Cloud Deployer资源限制

核心问题原因 #

你之前的配置不生效主要有两个原因：

1. 资源限制属性名缺少limits层级：Spring Cloud Deployer Kubernetes 2.x版本的资源配置需要明确区分limits（上限）和requests（调度阈值），你之前使用的SPRING.CLOUD.DEPLOYER.KUBERNETES.CPU这类属性名不符合规范，无法被正确识别。
2. 自定义DeployerPartitionHandler默认不会自动加载全局部署配置：如果没有显式传入部署属性，全局的deployer配置不会被应用到动态启动的Worker Pod上。

解决方案1：代码显式配置（推荐，无版本兼容问题） #

直接在你现有的partitionHandler初始化逻辑中添加部署属性配置，修改代码如下：

public PartitionHandler partitionHandler(TaskLauncher taskLauncher, JobExplorer jobExplorer) {

    Resource resource = this.resourceLoader.getResource(resourceSpec);

    DeployerPartitionHandler partitionHandler = new DeployerPartitionHandler(taskLauncher, jobExplorer, resource,
            "worker");

    commandLineArgs.add("--spring.profiles.active=worker");
    commandLineArgs.add("--spring.cloud.task.initialize.enable=false");
    commandLineArgs.add("--spring.batch.initializer.enabled=false");
    commandLineArgs.add("--spring.cloud.task.closecontext_enabled=true");
    commandLineArgs.add("--logging.level.root=DEBUG");

    // 新增以下配置：设置Worker Pod资源限制
    Map<String, String> deploymentProperties = new HashMap<>();
    deploymentProperties.put("spring.cloud.deployer.kubernetes.limits.cpu", "500m");
    deploymentProperties.put("spring.cloud.deployer.kubernetes.limits.memory", "250Mi");
    deploymentProperties.put("spring.cloud.deployer.kubernetes.limits.ephemeral-storage", "500Mi");
    // 按需添加资源请求阈值配置
    // deploymentProperties.put("spring.cloud.deployer.kubernetes.requests.cpu", "200m");
    // deploymentProperties.put("spring.cloud.deployer.kubernetes.requests.memory", "128Mi");
    partitionHandler.setDeploymentProperties(deploymentProperties);

    partitionHandler.setCommandLineArgsProvider(new PassThroughCommandLineArgsProvider(commandLineArgs));
    partitionHandler.setEnvironmentVariablesProvider(environmentVariablesProvider());
    partitionHandler.setApplicationName(appName + "worker");
    partitionHandler.setMaxWorkers(maxWorkers);

    return partitionHandler;
}

修改后重新打包部署即可生效。

解决方案2：配置文件/ConfigMap配置（无需修改代码） #

使用正确的属性名配置即可，支持两种配置粒度：

全局生效（所有通过Deployer启动的Pod都应用该限制） #

properties格式配置：

spring.cloud.deployer.kubernetes.limits.cpu=500m
spring.cloud.deployer.kubernetes.limits.memory=250Mi
spring.cloud.deployer.kubernetes.limits.ephemeral-storage=500Mi

对应环境变量格式：

SPRING_CLOUD_DEPLOYER_KUBERNETES_LIMITS_CPU=500m
SPRING_CLOUD_DEPLOYER_KUBERNETES_LIMITS_MEMORY=250Mi
SPRING_CLOUD_DEPLOYER_KUBERNETES_LIMITS_EPHEMERAL_STORAGE=500Mi

仅Worker应用生效 #

你的Worker应用名为appName + "worker"，假设你的appName为batch，则配置如下：

spring.cloud.deployer.kubernetes.batchworker.limits.cpu=500m
spring.cloud.deployer.kubernetes.batchworker.limits.memory=250Mi

额外注意事项 #

你当前使用的Spring Boot 2.1.9与Spring Cloud 2020.0.1版本不兼容，Spring Cloud 2020.0.x要求Spring Boot版本最低为2.4.x，如果上述配置后仍不生效，建议先对齐版本避免配置绑定失效的问题。

内容的提问来源于stack exchange，提问作者Abhinav Sharma