如何使用FFMPEG处理S3存储的视频文件并将结果直接上传到S3

核心逻辑无需将S3文件落地为本地临时文件，通过标准流的方式完成数据传输即可，既节省磁盘空间也能提升处理效率。

前置要求 #

• 运行环境已安装ffmpeg与AWS CLI（推荐v2版本）
• 环境已配置AWS访问权限，至少拥有源S3桶的s3:GetObject权限、目标S3桶的s3:PutObject权限
• 若在EC2/ECS/Lambda等AWS服务内运行，直接给对应IAM角色绑定上述权限即可，无需手动配置访问密钥

流处理操作命令（无临时文件） #

以下为转码场景示例，可根据实际需求替换FFmpeg处理参数：

aws s3 cp s3://<源桶名称>/<源视频路径> - | ffmpeg -i - <你的FFmpeg处理参数> -f <输出格式> - | aws s3 cp - s3://<目标桶名称>/<处理后文件路径>

参数说明：

• 第一个aws s3 cp末尾的-表示将S3文件内容输出到标准输出流(stdout)
• FFmpeg的-i -表示从标准输入流(stdin)读取输入源
• FFmpeg末尾的-f <输出格式> -表示将处理后的数据按指定格式输出到标准输出流，此处必须手动指定-f对应的输出格式，否则FFmpeg无法自动识别输出格式会抛出错误
• 第二个aws s3 cp开头的-表示从标准输入流读取数据，上传到指定S3路径

特殊场景注意事项 #

• 若处理需要随机访问的封装格式（如部分MOV、MKV文件），流处理可能失败，这种情况可以先下载到本地临时目录处理后再上传，示例如下：

  # 下载源文件到本地临时目录
  aws s3 cp s3://<源桶名称>/<源视频路径> /tmp/source.mov
  # 本地执行FFmpeg处理
  ffmpeg -i /tmp/source.mov <你的FFmpeg处理参数> /tmp/output.mp4
  # 上传处理后的文件到S3
  aws s3 cp /tmp/output.mp4 s3://<目标桶名称>/<处理后文件路径>
  # 清理临时文件
  rm /tmp/source.mov /tmp/output.mp4
  

• 若在Lambda内运行，注意Lambda临时磁盘空间最大为10GB，处理超出大小的视频优先使用流处理方案，同时Lambda最长运行时间为15分钟，长时处理任务建议使用ECS/EKS或AWS MediaConvert托管服务
• 复杂滤镜、多轨合并等FFmpeg操作只要输出格式支持流输出，都可以使用第一种管道流方案处理

其他可选实现 #

如果需要集成到代码逻辑中，以Python为例，可以用boto3的get_object接口获取文件流，喂给ffmpeg-python库处理，处理完成的流再通过put_object接口上传到S3，全程也不需要生成本地临时文件。

内容的提问来源于stack exchange，提问作者Pranava Mohan