寻求Python提取视频相机运动关键帧的脚本、库或Colab方案

核心可用工具库 #

• OpenCV + OpenCV_contrib：基础视觉工具，可通过特征点匹配、姿态估计算法（如cv2.solvePnP）逐帧计算相机位姿，适合需要自定义流程的场景，但需自行处理帧序列的特征匹配与轨迹优化。
• COLMAP（pycolmap绑定）：专业的结构从运动（SFM）工具，支持无标记场景（如无人机航拍）的自动相机轨迹重建，能直接输出关键帧的旋转、平移矩阵，是这类需求的高效选择。
• PySceneDetect：可先检测视频中的视觉关键帧（过滤冗余帧），减少后续姿态计算的工作量，搭配姿态估计库使用能提升效率。

具体实现步骤（以COLMAP为例） #

1. 提取视频帧 #

先将视频拆分为单帧图片，保存到临时目录，可通过帧间隔减少处理量：

import cv2
import os

def extract_frames(video_path, output_dir, frame_interval=10):
    os.makedirs(output_dir, exist_ok=True)
    cap = cv2.VideoCapture(video_path)
    count = 0
    while cap.isOpened():
        ret, frame = cap.read()
        if not ret:
            break
        if count % frame_interval == 0:
            cv2.imwrite(os.path.join(output_dir, f"frame_{count:06d}.jpg"), frame)
        count += 1
    cap.release()

2. 重建相机轨迹 #

使用pycolmap完成特征提取、匹配与稀疏重建，得到相机姿态数据：

import pycolmap

# 初始化数据库与重建流程
database = pycolmap.Database("camera_db.db")
pycolmap.extract_features(database, image_path="frames_dir", 
                          sift_options=pycolmap.SiftExtractionOptions())
pycolmap.match_features(database, matcher_options=pycolmap.SiftMatchingOptions())

# 运行稀疏重建
recon_dir = "camera_reconstruction"
mapper = pycolmap.Mapper()
mapper.run(database, image_path="frames_dir", output_path=recon_dir)

# 加载重建结果
reconstruction = pycolmap.Reconstruction(recon_dir)

3. 提取并导出关键帧数据 #

从重建结果中提取每帧的旋转、平移参数，导出为通用格式（如JSON）：

import json

keyframes = []
for image in reconstruction.images.values():
    # 解析帧编号
    frame_num = int(image.name.split("_")[1].split(".")[0])
    # 获取相机姿态：旋转矩阵 + 平移向量
    cam_pose = image.cam_from_world
    rotation = cam_pose.rotation.matrix().tolist()
    translation = cam_pose.translation.tolist()
    
    keyframes.append({
        "frame": frame_num,
        "rotation": rotation,
        "translation": translation,
        "fov": image.camera.fov()  # 可选：导出相机视场角
    })

# 保存到文件
with open("camera_keyframes.json", "w") as f:
    json.dump(keyframes, f, indent=2)

Colab整合要点 #

• 依赖安装：在Colab中执行!pip install pycolmap opencv-python pyscenedetect安装所需库，若pycolmap安装失败，可使用预编译的wheel包。
• 文件管理：挂载Google Drive（from google.colab import drive; drive.mount('/content/drive')），将视频存放在Drive中，结果也保存到Drive避免丢失。
• 性能优化：启用Colab的GPU加速（运行时→更改运行时类型→GPU），pycolmap会自动利用CUDA加速；调整frame_interval参数（如每5-10帧取一帧）减少计算量。

AI艺术动画适配建议 #

• 若用于Deforum等AI动画工具，可将JSON中的旋转矩阵转换为欧拉角，添加FOV、缩放等参数，适配工具的相机参数格式。
• 若需导入Blender，可编写简单脚本读取JSON数据，直接在Blender中生成相机关键帧；或使用pycolmap导出FBX格式的重建结果，直接导入Blender。

内容的提问来源于stack exchange，提问作者ai manifest