能否在AWS Lambda函数内安装s3fs-fuse？如何用ffmpeg提取图片到S3存储桶

前置说明 #

s3fs-fuse 是用户态FUSE文件系统，无需内核级权限即可运行，完全适配Lambda的运行环境，可将S3存储桶挂载到Lambda的临时目录/tmp下，让FFmpeg可以像操作本地文件一样直接写入S3存储桶。

操作步骤 #

• 第一步：编译适配Lambda环境的s3fs-fuse二进制
  使用与Lambda运行环境一致的Amazon Linux 2/2023镜像编译s3fs-fuse静态版本，避免运行时依赖缺失，编译完成后将二进制文件命名为s3fs，赋予755可执行权限。
  你可以将编译好的s3fs和FFmpeg静态二进制一同打包为Lambda Layer，Layer的目录结构设置为bin/s3fs、bin/ffmpeg，挂载到函数后系统会自动将/opt/bin加入环境变量，无需写绝对路径即可直接调用。
• 第二步：配置Lambda函数基础参数和权限
  1. 内存配置不低于1024MB，临时存储/tmp的大小根据你要处理的视频大小调整，最大可设置为10GB，超时时间根据处理时长设置，最长支持15分钟。
  2. 给Lambda的执行角色添加对应S3存储桶的权限：至少需要s3:GetObject、s3:PutObject、s3:ListBucket权限，若存储桶开启了KMS加密还需添加对应KMS密钥的访问权限。
• 第三步：编写函数执行逻辑
  以Python代码为例，核心逻辑如下：

import subprocess
import os

def lambda_handler(event, context):
    # 1. 创建挂载目录
    mount_path = "/tmp/s3_mount"
    os.makedirs(mount_path, exist_ok=True)
    
    # 2. 挂载S3存储桶，用iam_role=auto自动获取Lambda执行角色权限，无需配置AKSK
    bucket_name = "你的目标存储桶名称"
    region = "你的S3存储桶所在区域，例：cn-north-1"
    mount_cmd = f"s3fs {bucket_name} {mount_path} -o url=https://s3.{region}.amazonaws.com -o use_path_request_style -o allow_other -o uid=1000 -o gid=1000 -o iam_role=auto"
    subprocess.run(mount_cmd, shell=True, check=True)
    
    # 3. 下载源视频到本地临时目录（比直接从S3挂载目录读性能更高）
    source_video_s3_key = "你要处理的视频在S3上的key，例：video/test.mp4"
    local_video_path = "/tmp/test.mp4"
    download_cmd = f"aws s3 cp s3://{bucket_name}/{source_video_s3_key} {local_video_path}"
    subprocess.run(download_cmd, shell=True, check=True)
    
    # 4. 执行FFmpeg抽帧，直接写入挂载的S3目录
    output_frame_prefix = "output_frames/frame_"
    ffmpeg_cmd = f"ffmpeg -i {local_video_path} -vf fps=1/10 {mount_path}/{output_frame_prefix}%04d.jpg -y"
    subprocess.run(ffmpeg_cmd, shell=True, check=True)
    
    # 5. 卸载挂载点，确保所有缓存数据同步到S3
    umount_cmd = f"umount {mount_path}"
    subprocess.run(umount_cmd, shell=True, check=True)
    
    return {
        "statusCode": 200,
        "msg": "抽帧存储完成"
    }

注意事项 #

• 挂载前确保挂载目录为空，不要重复挂载同一目录。
• 所有文件操作完成后必须主动执行卸载命令，避免部分缓存数据还未同步到S3就被Lambda运行环境回收。
• s3fs只是POSIX兼容层，不是真正的本地文件系统，不支持高并发随机写入，单进程顺序写入场景下稳定性最佳。
• 若处理的源视频体积较小，也可以直接读取挂载目录下的视频文件，无需先下载到本地。

内容的提问来源于stack exchange，提问作者code0x00