如何使用Packer从S3下载文件到EC2实例以构建自定义AMI

当然有办法实现！Packer本身确实没有像cfn-init那样专门的S3下载内置功能，但我们可以通过几种简单直接的方式搞定这个需求，下面是最常用的几个方案：

方案一：使用AWS CLI命令（最推荐） #

这是生产环境里最常用的方式，只要你的EC2构建实例有访问目标S3桶的权限，就能直接用aws s3 cp命令下载文件。

操作步骤： #

1. 给Packer使用的IAM实例配置文件（instance_profile）添加S3读取权限，比如允许s3:GetObject操作针对目标桶或具体文件。
2. 在Packer的shell provisioner里执行下载命令：

provisioner "shell" {
  inline = [
    # 不同系统按需安装AWS CLI（Amazon Linux 2/2023已预装）
    # "apt update && apt install awscli -y", # Ubuntu/Debian系列
    # "yum install awscli -y", # RHEL/CentOS系列
    "aws s3 cp s3://your-bucket-name/path/to/config-file.conf /opt/app/config/",
    "aws s3 cp s3://your-bucket-name/assets/ /opt/app/assets/ --recursive" # 递归下载整个文件夹
  ]
}

方案二：使用预签名URL + curl/wget #

如果不想在实例上安装AWS CLI，或者实例无法通过IAM角色访问S3，可以生成S3对象的预签名URL，然后用curl或wget直接下载。

操作步骤： #

1. 提前用本地AWS CLI生成预签名URL（有效期根据你的构建时长设置，比如1小时）：

aws s3 presign s3://your-bucket-name/path/to/config-file.conf --expires-in 3600

2. 将预签名URL作为变量传入Packer，再用shell脚本下载：

variable "config_file_presigned_url" {
  type        = string
  description = "预签名的S3配置文件URL"
}

provisioner "shell" {
  inline = [
    "curl -o /opt/app/config/config-file.conf ${var.config_file_presigned_url}",
    # 或者用wget：
    # "wget -O /opt/app/config/config-file.conf ${var.config_file_presigned_url}"
  ]
}

这种方式不需要实例有任何S3权限，但要注意预签名URL的有效期，避免构建过程中过期失效。

方案三：先下载到本地，再上传到实例 #

如果你的本地环境能访问S3，也可以先把文件从S3下载到Packer运行的本地机器，再用Packer的file provisioner上传到EC2实例。

操作步骤： #

1. 本地执行命令下载文件：

aws s3 cp s3://your-bucket-name/path/to/config-file.conf ./local-temp/

2. 在Packer配置里用file provisioner上传：

provisioner "file" {
  source      = "./local-temp/config-file.conf"
  destination = "/opt/app/config/config-file.conf"
}

这种方式适合文件较小、本地环境有S3访问权限的场景。

注意事项 #

• 权限验证：如果用方案一，务必确保EC2实例的IAM角色拥有足够的S3读取权限；
• CLI兼容性：部分非AWS官方AMI可能没有预装AWS CLI，需要提前在provisioner里添加安装命令；
• URL有效期：方案二中的预签名URL要设置足够长的有效期，避免构建过程中过期。

内容的提问来源于stack exchange，提问作者Praveen Raghav