Gen 2 Cloud Function下载YouTube音视频速度差异过大求助

我在GCP Gen 2 Cloud Function中部署了一个下载工具，用yt-dlp（以及试过pytube）下载1080p YouTube视频，音视频分开下载。函数已配置最高资源：8核CPU、32GB内存、60分钟超时。日志显示视频下载速度约500kb/s，但音频仅约50kb/s。找不到GCP文档中有关带宽调整的设置，想问这是什么原因，有没有解决办法？

函数配置和核心代码如下：

@tasks_fn.on_task_dispatched(
        retry_config=RetryConfig(max_attempts=5, min_backoff_seconds=1200),
        rate_limits=RateLimits(max_concurrent_dispatches=10), 
        memory=MemoryOption.GB_32, 
        cpu=8,
        timeout_sec=3600, 
        secrets=["OPENAI_KEY"], )
...

def download_highest_resolution(video_url, output_path):
    logger.info("Downloading")
    
    downloaded_file_info = {}
    output_file = f'{output_path}.mp4'

    ydl_opts = {
        'format': 'bestvideo[height<=1080]+bestaudio/best[height<=1080]',
        'merge_output_format': 'mp4',
        'outtmpl': output_file,
        'logger': logger,
        'progress_hooks': [lambda d: downloaded_file_info.update(d) if d['status'] == 'finished' else None],
        'concurrent_fragment_downloads': 5,
        'n_threads': 5
        }
    with yt_dlp.YoutubeDL(ydl_opts) as ydl:
        try:
            ydl.download([video_url])
            return output_file
        except Exception as e:
            logger.error(f"An error occurred downloading: {e}")
            return None

可能的原因 #

• YouTube CDN针对性限流：YouTube对第三方客户端（如yt-dlp/pytube）的请求会有限制，尤其是音频这类小体积、低码率的流，CDN节点可能会降低单请求速率，防止批量爬取。
• GCP Cloud Function网络隐性限制：虽然配置了高CPU内存，但云函数的出站带宽可能存在单请求速率限制，或者对非GCP服务的请求优先级较低，这种限制通常不会在文档中明确标注。
• 音频流特性导致的感知差异：音频流本身文件小、分片数量少，即使并行下载配置生效，也无法像大体积视频流那样体现出速度优势，最终平均速率看起来偏低。

解决方案尝试 #

1. 优化yt-dlp音频相关参数

   • 强制指定热门编码的音频流，减少冷门CDN节点的影响：

     'format': 'bestvideo[height<=1080]+bestaudio[acodec=mp4a]/best[height<=1080]',
     

   • 调整分片重试和缓冲参数，提升稳定性：

     'fragment_retries': 10,
     'buffer_size': '16M',
     'postprocessor_args': [
         '-probesize', '100M',
         '-analyzeduration', '100M'
     ]
     

2. 单独测试音频流下载
   先提取音频的直接URL，用基础下载工具测试速率，排除yt-dlp的影响：

   with yt_dlp.YoutubeDL({'quiet': True}) as ydl:
       info = ydl.extract_info(video_url, download=False)
       # 获取音频流的URL
       audio_format = next(f for f in info['formats'] if f['acodec'] != 'none')
       audio_url = audio_format['url']
   # 用requests直接下载
   import requests
   with open('audio.mp4', 'wb') as f:
       response = requests.get(audio_url, stream=True)
       for chunk in response.iter_content(chunk_size=1024*1024):
           f.write(chunk)
   

3. 检查Cloud Function网络配置

   • 如果使用VPC网络，确认出站防火墙规则没有限制HTTP/HTTPS流量速率；
   • 尝试启用云函数的公共IP，避免通过共享NAT网关的限流（默认云函数使用共享NAT）。

4. 调整并发策略

   • 尝试提高concurrent_fragment_downloads（比如调到10），针对音频流的小分片增加并行数；
   • 如果是批量任务，调整max_concurrent_dispatches，看多任务并行时总带宽是否提升，判断是单请求限流还是总带宽限制。

内容的提问来源于stack exchange，提问作者Casey