Jenkins Pipeline如何并行调用相同下游作业？代码问题求助

核心原因：下游作业的并发限制 #

你遇到的串行执行问题，最可能的原因是下游的"Myteam/myPipeline"作业禁止了并发构建。即使上游用wait:false触发，下游作业如果设置了“不允许并发构建”，会自动排队执行，导致看起来是串行完成。

解决步骤：

• 打开下游作业"Myteam/myPipeline"的配置页面
• 找到“高级项目选项”（或“构建触发器”区域）
• 勾选“允许并发构建”选项，保存配置

代码本身的隐藏问题（需同步修复） #

即使解决了下游并发限制，你的代码还存在两个关键问题，会导致触发的下游任务使用错误的YAML文件：

1. 闭包变量捕获问题 #

在原for循环中，闭包会捕获循环变量sizingFile的引用，而不是当前迭代的具体值。当parallel执行时，所有闭包都会使用最后一次循环的sizingFile路径，导致所有下游任务拿到的都是最后一个YAML文件的内容。

2. 外部变量在闭包内修改导致分支混乱 #

原代码中在闭包内修改counter变量，会导致分支key不可预测，引发潜在的执行异常。

修复后的完整代码 #

def GLOBAL_RELEASE_NUMBER
def GLOBAL_BUILD_NUMBER
pipeline {
  agent { label 'centos7-itest' }
  options {
    timestamps()
    buildDiscarder(logRotator(daysToKeepStr: '100'))
    ansiColor('xterm')
  }

  parameters {
    // 你的参数定义
  }

  environment {
    // Python3环境变量设置
  }

  stages{
    stage("setting environment") {
      environment {
        // 环境变量设置
      }
      steps {
        script{
          // 确定build number和release number的逻辑
        }
      }
    }

    stage("Clone repo & replace variables & call my pipeline") {
      steps {
        withCredentials([
          // 凭据配置
        ]){
          cleanWs()
          deleteDir()
          git branch: "${params.branch}", credentialsId: 'jenkins-user-key-vcs', url: 'git@github.com:some_repo/devops.git'
          
          script {
            def sizingFiles = []
            def branches = [:]

            // 收集所有YAML文件
            if (params.sizing_directory.endsWith(".yaml")) {
              sizingFiles.add(params.sizing_directory)
            } else {
              def findResult = sh(
                returnStdout: true,
                script: "find ${params.sizing_directory} -type f -name '*.yaml'"
              ).trim()
              if (findResult) {
                sizingFiles = findResult.split('\n')
              }
            }

            // 遍历文件，准备并行分支
            sizingFiles.eachWithIndex { sizingFile, index ->
              echo "Processing ${sizingFile}"

              // 修改YAML文件中的变量
              sh """
                sed -i 's/{{[[:space:]]*user[[:space:]]*}}/${params.test_user}/g;
                        s/{{[[:space:]]*owner[[:space:]]*}}/my_team/g;
                        s/{{[[:space:]]*dept[[:space:]]*}}/team/g;
                        s/{{[[:space:]]*task[[:space:]]*}}/sizing/g;
                        s/{{[[:space:]]*SoftwareVersion[[:space:]]*}}/$GLOBAL_RELEASE_NUMBER-b$GLOBAL_BUILD_NUMBER/g' ${sizingFile}
                cat ${sizingFile}
              """

              // 绑定当前文件路径到局部变量，避免闭包引用同一变量
              def currentFile = sizingFile
              // 使用唯一分支key和stage名称，避免冲突
              branches["pipeline_${index}_${sizingFile.tokenize('/').last()}"] = { 
                stage("myPipeline_${index}"){
                  build job: "Myteam/myPipeline",
                        wait: false,
                        parameters: [ 
                          text(name: 'sample_yaml', value: readFile(file: currentFile)),
                          string(name: 'branch', value: "${params.branch}")
                        ]
                }
              }
            }

            // 执行并行触发，空分支时提示
            if (!branches.isEmpty()) {
              parallel branches 
            } else {
              echo "No YAML files found in the specified directory"
            }
          }
        }
      }
    }
  }
}

关键修改说明 #

• 绑定局部变量：在eachWithIndex循环内将sizingFile赋值给currentFile，确保每个闭包捕获的是当前迭代的文件路径。
• 唯一分支与stage名称：用索引+文件名生成唯一的分支key和stage名称，避免Jenkins UI显示混乱和分支冲突。
• 空分支判断：避免没有找到YAML文件时执行空的parallel块引发错误。

内容的提问来源于stack exchange，提问作者lets_code