如何使用AWS Media Convert批量转换S3存储桶中现有MP4文件为HLS格式？

针对你已获取S3中MP4文件列表，但缺少MediaConvert任务执行所需配置的场景，可按以下步骤实现批量转换：

1. 完善Lambda的MediaConvert任务调用逻辑 #

你需要为每个MP4文件生成对应的MediaConvert转换任务，核心是补充任务的输入输出配置、权限及端点信息：

• 权限配置：确保Lambda角色拥有mediaconvert:CreateJob权限，同时具备源S3桶的读取权限和目标S3桶的写入权限（通过IAM策略配置）。
• 任务参数配置：
  • 输入：指定MP4文件的S3完整路径（格式为s3://bucket-name/folder/video.mp4）。
  • 输出：设置HLS文件的存储路径（建议用单独文件夹或另一个S3桶，避免和源文件混淆），同时选择合适的编码预设——可直接使用AWS提供的系统预设（如System-Avc_1080p_S3_HLS），或根据需求自定义预设。
• 获取MediaConvert端点：调用MediaConvert的describeEndpoints接口获取服务端点，这是调用CreateJob接口的必要前提。

2. 控制批量任务并发，避免资源过载 #

如果视频数量较多，直接批量触发任务容易导致资源耗尽或请求被限流，建议通过SQS队列做缓冲：

• 已获取MP4列表的Lambda将每个文件的源路径、目标路径等信息发送到SQS标准队列。
• 创建第二个Lambda，配置为SQS触发，每次从队列中拉取固定数量的消息（如10条），再逐一调用MediaConvert创建任务，以此控制并发转换的任务数量。

3. 任务状态监控与失败重试 #

为避免转换任务失败后无人处理，可配置监控与重试机制：

• 通过CloudWatch事件监听MediaConvert任务状态，当任务失败时，触发Lambda将失败任务的信息重新放回SQS队列（设置重试次数上限，避免死循环），或发送告警通知。
• 也可将任务ID、源文件路径、状态等信息存入DynamoDB，定期扫描未完成/失败的任务，手动或自动触发重试。

4. 后续自动化优化 #

如果后续有新的MP4文件上传到S3，可配置S3事件通知：当有.mp4后缀的文件上传时，自动触发Lambda调用MediaConvert完成转换，实现全自动化流程。

示例代码片段（Python） #

以下是Lambda中调用MediaConvert创建任务的核心代码：

import boto3

def lambda_handler(event, context):
    # 初始化MediaConvert客户端
    mc_client = boto3.client('mediaconvert', region_name='us-east-1')
    # 获取服务端点
    endpoints = mc_client.describe_endpoints()
    mc_endpoint = endpoints['Endpoints'][0]['Url']
    mc_client = boto3.client('mediaconvert', endpoint_url=mc_endpoint, region_name='us-east-1')
    
    # 遍历MP4文件列表（假设event传入文件键列表）
    for mp4_key in event.get('mp4_files', []):
        source_path = f's3://your-source-bucket/{mp4_key}'
        # 生成目标HLS存储路径（替换后缀为文件夹）
        dest_path = f's3://your-dest-bucket/{mp4_key.replace(".mp4", "/")}'
        
        # 任务配置
        job_settings = {
            "Inputs": [{"FileInput": source_path}],
            "OutputGroups": [
                {
                    "Name": "HLS Output",
                    "OutputGroupSettings": {
                        "Type": "HLS_GROUP_SETTINGS",
                        "HlsGroupSettings": {
                            "Destination": dest_path,
                            "SegmentLength": 10  # 分片时长（秒）
                        }
                    },
                    "Outputs": [
                        {"Preset": "System-Avc_1080p_S3_HLS", "NameModifier": "_1080p"},
                        {"Preset": "System-Avc_720p_S3_HLS", "NameModifier": "_720p"}
                    ]
                }
            ]
        }
        
        # 创建转换任务（替换为你的MediaConvert角色ARN）
        mc_client.create_job(
            Role='arn:aws:iam::123456789012:role/YourMediaConvertRole',
            Settings=job_settings
        )

内容的提问来源于stack exchange，提问作者Amit