如何在Python OpenCV稀疏光流中保留目标最近5秒的光流线？

要实现仅保留每个目标最近5秒的光流轨迹，核心思路是给每个跟踪点的轨迹记录时间戳，实时过滤掉超出时间范围的旧点。以下是具体实现步骤和代码示例：

核心逻辑 #

1. 轨迹带时间戳存储：不再只存坐标点，而是为每个跟踪点的轨迹同时保存坐标序列和对应的时间戳。
2. 实时时间戳记录：每处理一帧时，获取当前时间，将新的光流点坐标和时间戳追加到对应轨迹中。
3. 旧轨迹过滤：每帧处理后，对每个轨迹计算当前时间与轨迹点时间的差值，仅保留差值≤5秒的点；若轨迹所有点都超时，则删除该轨迹。

代码实现（基于OpenCV Lucas-Kanade算法） #

import cv2
import numpy as np
import time

# 初始化视频源（替换为你的视频路径或摄像头ID）
cap = cv2.VideoCapture("your_video.mp4")

# Lucas-Kanade光流参数设置
lk_params = dict(winSize=(15, 15),
                 maxLevel=2,
                 criteria=(cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))

# 读取第一帧并初始化初始跟踪点
ret, old_frame = cap.read()
old_gray = cv2.cvtColor(old_frame, cv2.COLOR_BGR2GRAY)
p0 = cv2.goodFeaturesToTrack(old_gray, mask=None, maxCorners=100, qualityLevel=0.3, minDistance=7, blockSize=7)

# 存储轨迹：每个元素是包含坐标列表和时间戳列表的字典
trajectories = []
for p in p0:
    x, y = p.ravel()
    trajectories.append({
        "points": [(x, y)],
        "timestamps": [time.time()]
    })

while True:
    ret, frame = cap.read()
    if not ret:
        break
    frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    current_time = time.time()

    # 计算稀疏光流
    p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)

    # 筛选有效跟踪点（st=1表示跟踪成功）
    good_new = p1[st == 1]
    good_old = p0[st == 1]

    # 更新并过滤轨迹
    new_trajectories = []
    for idx, (new_pt, old_pt) in enumerate(zip(good_new, good_old)):
        nx, ny = new_pt.ravel()
        # 获取对应旧轨迹并追加新点和时间戳
        traj = trajectories[idx]
        traj["points"].append((nx, ny))
        traj["timestamps"].append(current_time)
        
        # 过滤5秒前的旧点
        filtered_pts = []
        filtered_ts = []
        for pt, ts in zip(traj["points"], traj["timestamps"]):
            if current_time - ts <= 5:
                filtered_pts.append(pt)
                filtered_ts.append(ts)
        
        # 过滤后仍有有效点则保留轨迹
        if filtered_pts:
            new_trajectories.append({
                "points": filtered_pts,
                "timestamps": filtered_ts
            })

    # 更新轨迹列表和下一轮跟踪点（取每个轨迹的最后一个点）
    trajectories = new_trajectories
    if trajectories:
        p0 = np.array([[t["points"][-1][0], t["points"][-1][1]] for t in trajectories], dtype=np.float32).reshape(-1, 1, 2)
    else:
        # 若所有轨迹都超时，重新初始化跟踪点
        p0 = cv2.goodFeaturesToTrack(frame_gray, mask=None, maxCorners=100, qualityLevel=0.3, minDistance=7, blockSize=7)
        trajectories = []
        for p in p0:
            x, y = p.ravel()
            trajectories.append({
                "points": [(x, y)],
                "timestamps": [current_time]
            })

    # 绘制保留的轨迹
    for traj in trajectories:
        pts = np.array(traj["points"], np.int32).reshape(-1, 1, 2)
        cv2.polylines(frame, [pts], isClosed=False, color=(0, 255, 0), thickness=2)

    # 显示结果
    cv2.imshow('Sparse Optical Flow (Last 5s)', frame)
    if cv2.waitKey(30) & 0xff == 27:
        break

    # 更新旧帧数据
    old_gray = frame_gray.copy()

cap.release()
cv2.destroyAllWindows()

补充说明 #

• 上述代码默认跟踪点顺序在帧间保持一致，若需处理跟踪点丢失、新增的复杂场景，建议给每个跟踪点分配唯一ID，通过ID匹配轨迹，避免顺序错乱。
• 采用time.time()获取的实际时间戳计算，比基于帧率的时间估算更准确，尤其适合帧率不稳定的视频或实时摄像头场景。
• 当所有轨迹都超时被删除时，代码会自动重新检测新的跟踪点，保证光流跟踪持续运行。

内容的提问来源于stack exchange，提问作者Abdoon Nur