视频片段匹配检测：判断短视频是否包含于长视频文件中

核心思路 #

• 优先采用音频特征匹配：广告音频的稳定性远高于视频画面（不受压缩、水印、画面微调影响），适合长时长视频的快速检索
• 若广告无有效音频，再使用视频关键帧匹配，通过图像特征比对定位

实操方案 #

方案1：FFmpeg音频指纹匹配（推荐） #

利用FFmpeg的音频匹配滤镜，直接定位广告在长视频中的时间戳：

1. 提取广告的纯净音频（可选，若广告视频本身音频清晰可跳过）

   ffmpeg -i ad_video.mp4 -vn -acodec pcm_s16le -ar 44100 -ac 1 ad_audio.wav
   

2. 在24小时电视流中执行匹配命令，输出结果到日志文件

   ffmpeg -i long_stream.mp4 -i ad_video.mp4 -filter_complex "[0:a][1:a]amatch=threshold=0.9:duration=60:peak=0.9,metadata=print:file=match_result.txt" -f null -
   

   参数说明：
   • threshold=0.9：匹配度阈值（0-1，值越高匹配越严格）
   • duration=60：广告的大致时长（单位：秒），帮助缩小检索范围
   • 匹配成功后，match_result.txt中会包含广告在长视频中的起始时间戳

方案2：视频关键帧特征匹配（适配无音频广告） #

通过OpenCV提取广告关键帧的SIFT特征，遍历长视频关键帧完成匹配：

import cv2
import numpy as np

# 加载广告的关键帧（优先选最具辨识度的I帧）
ad_frame = cv2.imread('ad_keyframe.png', 0)
sift = cv2.SIFT_create()
kp_ad, des_ad = sift.detectAndCompute(ad_frame, None)

# 读取长视频并遍历帧
cap = cv2.VideoCapture('long_stream.mp4')
fps = cap.get(cv2.CAP_PROP_FPS)
frame_idx = 0

while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break
    
    # 每N帧采样一次（减少计算量，N可根据视频帧率调整）
    if frame_idx % 30 == 0:
        gray_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        kp_stream, des_stream = sift.detectAndCompute(gray_frame, None)
        
        # FLANN特征匹配
        flann = cv2.FlannBasedMatcher(dict(algorithm=1, trees=5), dict(checks=50))
        matches = flann.knnMatch(des_ad, des_stream, k=2)
        
        # 筛选有效匹配点
        good_matches = [m for m, n in matches if m.distance < 0.7 * n.distance]
        if len(good_matches) > 40:
            timestamp = frame_idx / fps
            print(f"广告匹配成功，播放时间戳：{timestamp:.2f} 秒")
            break
    
    frame_idx += 1

cap.release()

使用提示：

• 先通过FFmpeg提取广告的关键帧：ffmpeg -i ad_video.mp4 -vf "select='eq(pict_type,PICT_TYPE_I)'" -vsync vfr ad_keyframe_%04d.png
• 调整采样间隔和匹配点数量阈值，平衡检索速度与精度

优化建议 #

• 处理24小时长视频时，先按小时拆分视频片段，避免内存溢出：ffmpeg -i long_stream.mp4 -c copy -map 0 -segment_time 3600 -f segment stream_part_%02d.mp4
• 批量处理多个广告时，编写Shell/Python脚本自动化执行匹配流程

内容的提问来源于stack exchange，提问作者FazeL