FFmpeg处理Widevine DRM流时CPU占用随时间攀升问题

问题场景 #

• 环境：静态编译FFmpeg，集成OpenSSL、AVX2支持及必要依赖
• 操作：通过-cenc_decryption_key解密Widevine加密的DASH流媒体（.mpd格式），并转换为HLS分片
• 现象：初始CPU占用较低，运行约2小时后占用翻倍并持续上升
• Perf分析结果（数小时后运行状态）：

Overhead  Shared Object     Symbol
  25.57%  ffmpeg            [.] __memset_avx2_unaligned_erms
   9.28%  ffmpeg            [.] aes_encrypt
   8.25%  [kernel]          [k] clear_page_rep
   3.17%  [kernel]          [k] asm_exc_page_fault
   1.68%  [kernel]          [k] __handle_mm_fault
   1.38%  ffmpeg            [.] __memmove_avx_unaligned_erms
   1.14%  ffmpeg            [.] _aesni_ctr32_ghash_6x
   1.01%  ffmpeg            [.] malloc_consolidate

核心问题：__memset_avx2_unaligned_erms函数CPU占比达25%，且调用频率随时间增加。

已尝试的解决措施 #

• Perf分析：确认__memset_avx2_unaligned_erms调用频率随时间增加是CPU攀升的核心原因
• 内存缓冲区优化：尝试复用内存缓冲区以避免频繁分配与初始化，问题仍存在
• 缩小缓冲区尺寸：减少单次memset的处理量，但长期运行后CPU占用仍上升

问题解答 #

1. 为何__memset_avx2_unaligned_erms调用频率随时间增加？ #

主要有三类可能原因：

• 内存泄漏/碎片化：FFmpeg的DRM解密或分片处理环节存在未正确回收的内存缓冲区，长期运行后内存碎片累积，需要初始化的新内存页数量持续增加，触发更多memset操作。
• 流媒体参数变化：后续处理的分片加密块数量、缓冲区尺寸增大，导致单次memset处理的内存总量上升，间接拉高CPU占比。
• 内存页错误累积：perf数据显示内核页错误相关函数占比不低，说明进程频繁触发缺页异常，glibc需要频繁初始化新分配的内存页，导致memset调用次数增多。

2. 是否与内存未对齐或FFmpeg/glibc的AVX2实现有关？ #

• 内存未对齐是关键诱因：__memset_avx2_unaligned_erms是专门处理未对齐内存的AVX2 memset实现，相比对齐版本的memset，单次调用开销更高。如果FFmpeg在DRM解密环节持续生成未对齐缓冲区，就会反复调用这个低效分支，累积后CPU占比攀升。
• AVX2实现本身无问题：glibc的AVX2 memset实现是高效的，但FFmpeg内存管理逻辑的缺陷（持续生成未对齐缓冲区）放大了该函数的CPU消耗。此外，页错误累积也会间接增加该函数的调用频率。

3. 针对长时间运行的DRM保护流处理，有哪些策略阻止CPU占用攀升？ #

• 排查内存泄漏：使用valgrind或jemalloc内存分析工具，重点检查FFmpeg中CENC解密上下文、帧缓冲区等模块的内存释放逻辑，修复未释放的内存块。
• 强制内存对齐：修改FFmpeg缓冲区分配逻辑，确保DRM解密相关内存按AVX2要求的32字节对齐，触发更高效的__memset_avx2_aligned调用，降低单次memset开销。
• 替换内存分配器：改用jemalloc或tcmalloc替代glibc默认分配器，这类分配器在长期运行场景下能更好地避免内存碎片化，减少内存页初始化带来的memset调用。
• 优化DRM解密流程：检查FFmpeg的cenc解密模块，移除冗余的memset操作，优化缓冲区复用逻辑，减少不必要的内存初始化。
• 定期重启进程：若短期无法修复底层问题，可设置定时重启FFmpeg，避免内存碎片化和CPU占用累积。

4. 是否需针对FFmpeg特定环节禁用SIMD优化？如何在不损失性能的前提下实现？ #

• 无需全局禁用SIMD：AVX2在AES解密（_aesni_ctr32_ghash_6x）环节能大幅提升性能，全局禁用会导致解密速度显著下降。
• 针对性优化方案：
  • 强制内存对齐：通过环境变量GLIBC_TUNABLES=glibc.mem.alignment=32设置内存分配的默认对齐要求，让缓冲区按32字节对齐，避免调用未对齐的memset版本。
  • 升级glibc版本：部分旧版本glibc的AVX2未对齐memset存在效率问题，升级到新版本可获得优化。
  • 修改FFmpeg代码：定位到生成未对齐缓冲区的代码段，调整分配逻辑确保内存对齐，或替换memset调用为更高效的初始化方式。

内容的提问来源于stack exchange，提问作者nabil fernandez kiker