AWS环境下Ansible高效上传大文件的最佳实践及无rsync替代方案

我之前也碰到过Ansible copy模块传大文件速度跟不上scp的情况，结合你的AWS环境和不能用rsync的限制，给你几个实用的解决方案：

1. 优化Ansible Copy模块的性能 #

如果还是想继续用copy模块，可以通过关闭校验和调整参数来提速：

• 关闭校验和验证：copy模块默认会计算本地和远程文件的MD5校验和来判断是否需要传输，这对10GB的文件来说开销极大。你可以添加validate_checksum: no跳过这一步：

  - name: Upload large file without checksum
    copy:
      src: /local/path/large_file1
      dest: /remote/path/large_file1
      validate_checksum: no
  

• 简化权限设置：如果不需要复杂的权限配置，直接用数字模式（比如mode: '0644'）代替符号模式，减少额外的权限计算开销。

不过即使优化后，copy模块的速度可能还是赶不上原生scp，因为它是通过Python的shutil实现，中间多了一层封装。

2. 直接调用scp命令（推荐） #

既然手动scp速度更快，完全可以在Ansible里直接调用系统的scp命令，绕过Python的封装层。记得把任务委托给控制节点（localhost）执行，这样就是从本地直接传到目标机：

- name: Upload large file via native scp
  command: scp -i /path/to/aws_key.pem /local/path/large_file1 ec2-user@{{ target_host }}:/remote/path/
  delegate_to: localhost
  timeout: 3600  # 根据文件大小调整超时时间，这里设1小时

注意事项： #

• 确保控制节点已经配置好免密登录目标机（AWS环境下通常是通过密钥对，所以要指定-i参数指向你的密钥文件）。
• 如果文件可压缩，可以加上-C参数启用压缩，进一步提升传输速度：scp -C -i /path/to/key ...。

3. 利用AWS S3中转（AWS环境最优） #

在AWS环境下，用S3作为中转是效率最高的方案之一，因为AWS内部网络带宽充足，且S3的下载速度稳定：

步骤1：将本地文件上传到S3 #

- name: Upload large file to S3 bucket
  amazon.aws.s3_object:
    bucket: your-s3-bucket-name
    object: large_files/large_file1
    src: /local/path/large_file1
    mode: put
  delegate_to: localhost

步骤2：目标机从S3下载文件 #

如果目标机已经安装了AWS CLI，可以直接用aws s3 cp命令：

- name: Download large file from S3 to target host
  command: aws s3 cp s3://your-s3-bucket-name/large_files/large_file1 /remote/path/

如果目标机没有AWS CLI，可以生成S3预签名URL，用get_url模块下载：

- name: Generate presigned URL for S3 object
  amazon.aws.s3_presigned_url:
    bucket: your-s3-bucket-name
    object: large_files/large_file1
    expires: 3600  # URL有效期1小时
  register: presigned_url
  delegate_to: localhost

- name: Download file via presigned URL
  get_url:
    url: "{{ presigned_url.url }}"
    dest: /remote/path/large_file1
    timeout: 3600

总结 #

• 如果必须直接点对点传输，优先用原生scp命令，速度和手动操作一致；
• AWS环境下，S3中转是最优选择，避免跨公网的带宽瓶颈；
• 若坚持用copy模块，关闭校验和是最有效的优化手段。

内容的提问来源于stack exchange，提问作者Tim Raynor