如何结合wget与aws s3 cp实现无本地存储上传文件至Amazon S3

当然可以！完全没必要先把文件下载到EC2实例本地再上传——用管道结合wget和AWS CLI就能一步完成，既省磁盘空间又能提升传输效率。

核心命令 #

直接用这条命令就能实现：

wget -qO- https://your-remote-file-url.tif | aws s3 cp - s3://your-target-bucket/path/to/save/file.tif

命令拆解 #

让我拆解下每个部分的作用：

• wget -qO-：-q开启静默模式，避免输出一堆下载日志干扰；-O-是关键，它告诉wget把下载的文件内容输出到标准输出(stdout)，而不是保存成本地文件。
• |：管道符，把前一个命令（wget）的输出，直接传给后一个命令（aws s3 cp）作为输入。
• aws s3 cp -：这里的-是特殊符号，代表从**标准输入(stdin)**读取内容，而不是读取本地文件路径；后面跟着你的S3存储桶和目标文件路径。

实用小贴士 #

• 如果想看到下载和上传的进度，去掉wget的-q参数就行，这样能实时看到传输状态：

  wget -O- https://your-remote-file-url.tif | aws s3 cp - s3://your-target-bucket/path/to/save/file.tif
  

• 确保你的EC2实例有足够的IAM权限：需要给实例的IAM角色（或者你配置的AWS凭证）添加s3:PutObject权限，允许往目标存储桶写入文件。
• 如果远程文件需要认证才能下载，给wget加上对应的授权参数就行，比如用--header传递Cookie或Token：

  wget -qO- --header "Authorization: Bearer your-token" https://secured-file-url.tif | aws s3 cp - s3://your-bucket/file.tif
  

• 大文件传输也不用担心，管道会流式处理，不会占用本地磁盘空间，AWS CLI也会自动处理分块上传（如果文件超过特定大小的话）。

内容的提问来源于stack exchange，提问作者Rutger Hofste