GitLab CI/CD如何无重复配置并行执行多参数同类任务

使用 GitLab CI 原生的 parallel:matrix 关键字即可实现无重复配置的并行任务，不需要手动为每个表编写独立job配置。

配置示例 #

定义一个通用处理任务，将所有待处理的表名填入matrix参数列表：

extract-table:
  stage: run
  extends: .execute-script
  parallel:
    matrix:
      - TABLE: [table_1, table_2, table_3, table_4, table_5, table_6, table_7, table_8, table_9, table_10]
  script:
    - python main.py --table $TABLE

效果说明 #

• GitLab CI 会根据matrix中的参数列表自动生成对应数量的独立任务，每个任务自动注入对应的TABLE环境变量，和你手动编写10个独立job的运行逻辑完全一致
• 同stage下自动生成的所有任务默认并行调度，会分配到空闲runner同时执行，不存在串行等待问题
• 每个任务会自动生成带参数标识的独立名称，例如extract-table: [table_1]，在pipeline页面可清晰区分，单独查看日志、重跑单个表的任务都不受影响
• 后续新增、删除待处理表，仅需修改matrix中的表名列表即可，无配置冗余

维护优化 #

如果待处理表的数量后续会频繁变动，可以把表名列表抽为全局变量统一管理：

variables:
  TARGET_TABLES: [table_1, table_2, table_3, table_4, table_5, table_6, table_7, table_8, table_9, table_10]

extract-table:
  stage: run
  extends: .execute-script
  parallel:
    matrix:
      - TABLE: $TARGET_TABLES
  script:
    - python main.py --table $TABLE

parallel:matrix 是GitLab官方提供的多参数并行任务原生特性，13.3及以上版本均支持，不需要依赖自定义脚本、动态子管线等复杂实现。

内容的提问来源于stack exchange，提问作者user6308605