能否以异步多线程方式运行Ansible循环任务以加速包安装？

核心结论 #

完全可以通过Ansible的**异步任务（async）**实现多包并行安装，同时还有其他优化方案能进一步加速安装过程。

一、异步任务实现并行安装 #

你当前的循环是串行执行每个包的安装，改成异步任务就能让多个包同时启动安装。只需调整install-packages.yml里的任务，添加async和poll参数：

修改后的install-packages.yml #

- name: "Install {{ item.key }} package"
  command: >
    apt-get install {{ item.key }}={{ item.value[ansible_env.ENV].version }} -y
  environment:
    ...
  retries: 3
  delay: 5
  register: result
  until: result.rc == 0
  # 异步执行超时时间（单位：秒），根据包大小调整
  async: 300
  # 立即返回，不等待当前任务完成
  poll: 0

新增任务等待所有异步任务完成 #

在主Playbook的include_tasks之后，需要添加一个任务来等待所有异步安装任务结束：

- name: Install Packages
  include_tasks: tasks/install-packages.yml
  loop: "{{ lookup('dict', packages) }}"
  loop_control:
    loop_var: item
  register: package_install_jobs

- name: Wait for all package installation jobs to complete
  async_status:
    jid: "{{ item.ansible_job_id }}"
  loop: "{{ package_install_jobs.results }}"
  register: job_results
  until: job_results.finished
  retries: 60
  delay: 5

二、其他加速方案 #

除了并行安装，还有这些方式能进一步提速：

• 批量安装多个包：如果没有严格的单包单独安装需求，可以直接把所有目标包拼成一个apt-get install命令，APT本身会并行处理包的下载与安装：

  - name: Install all packages in batch
    command: >
      apt-get install {% for pkg in packages.keys() %}
        {{ pkg }}={{ packages[pkg][ansible_env.ENV].version }}
      {% endfor %} -y
    environment:
      ...
    retries: 3
    delay: 5
    register: result
    until: result.rc == 0
  

• 使用apt模块替代command：Ansible的apt模块自带优化，支持批量操作且能自动处理依赖，比直接调用command更可靠：

  - name: Install packages with apt module (batch)
    apt:
      name: "{{ item }}"
      state: present
    loop: "{{ packages.keys() | map('regex_replace', '^(.*)$', '\\1=' + packages[item][ansible_env.ENV].version) | list }}"
  

• 配置APT加速源：将APT源替换为国内镜像（如阿里云、清华镜像），大幅减少包下载时间，这是最基础且有效的提速手段。

注意事项 #

• 异步任务的async时间要设置足够长，避免大体积包安装超时。
• 并行安装会增加系统资源占用（CPU、网络），若主机资源有限，可通过loop_control的throttle参数限制并发数：

  - name: Install Packages
    include_tasks: tasks/install-packages.yml
    loop: "{{ lookup('dict', packages) }}"
    loop_control:
      loop_var: item
      throttle: 3  # 同时最多运行3个并行任务
    register: package_install_jobs
  

内容的提问来源于stack exchange，提问作者prosto.vint