描述 #

视频区域修复

核心功能 #

• 智能修复：基于STTN时空记忆网络进行视频内容修复（去除水印、字幕等外来内容）
• 多区域支持：支持同时修复一个、多个指定区域或全屏处理
• 音频保留：视频修复不影响原始音频
• GPU加速：支持CUDA加速提升处理效率
• 多输入支持：支持路径输入和二进制输入

推荐实践 #

• 建议处理分辨率不超过1080p的视频
• 修复区域越小处理速度越快
• 长视频建议预先分段处理

技术特性 #

• 时空一致性：保证修复区域的时间连续性
• 格式兼容：输出标准MP4格式视频

算子参数 #

输入 #

输出 #

处理后的结构化列，每个元素包含以下字段：

• output_path: 修复后视频的TOS存储路径；
• processed_frames: 实际处理的视频帧数；
• processed_resolution: 处理后视频的分辨率[width, height]

参数 #

如参数没有默认值，则为必填参数

调用示例 #

下面的代码展示了如何使用 Daft（适用于分布式）运行算子对视频进行智能区域修复。

from __future__ import annotations

import os

import daft
from daft import col
from daft.las.functions.udf import las_udf
from daft.las.functions.video import VideoSttnInpaint

if __name__ == "__main__":
    
    # 更改完修复的视频会保存到指定的TOS路径下，因此，需要设置好环境变量以保证有权限写入TOS，包括：ACCESS_KEY,SECRET_KEY,TOS_ENDPOINT,TOS_REGION,TOS_TEST_DIR
    TOS_DIR = os.getenv("TOS_TEST_DIR", "tos_bucket")
    output_tos_dir = f"tos://{TOS_DIR}/video/video_sttn_inpaint"

    if os.getenv("DAFT_RUNNER", "native") == "ray":
        import logging

        import ray

        def configure_logging():
            logging.basicConfig(
                level=logging.INFO,
                format="%(asctime)s - %(name)s - %(levelname)s - %(message)s",
                datefmt="%Y-%m-%d %H:%M:%S.%s".format(),
            )
            logging.getLogger("tracing.span").setLevel(logging.WARNING)
            logging.getLogger("daft_io.stats").setLevel(logging.WARNING)
            logging.getLogger("DaftStatisticsManager").setLevel(logging.WARNING)
            logging.getLogger("DaftFlotillaScheduler").setLevel(logging.WARNING)
            logging.getLogger("DaftFlotillaDispatcher").setLevel(logging.WARNING)

        ray.init(dashboard_host="0.0.0.0", runtime_env={"worker_process_setup_hook": configure_logging})
        daft.context.set_runner_ray()

    daft.set_execution_config(actor_udf_ready_timeout=600)
    daft.set_execution_config(min_cpu_per_task=0)

    tos_dir_url = os.getenv("TOS_DIR_URL", "las-cn-beijing-public-online.tos-cn-beijing.volces.com")
    samples = {
        "video_path": [
            f"https://{tos_dir_url}/public/shared_video_dataset/watermark_sample.mp4"
        ]
    }
    ds = daft.from_pydict(samples)

    model_path = os.getenv("MODEL_PATH", "/opt/las/models")
    constructor_kwargs = {
        "output_tos_dir": output_tos_dir,
        "model_path": model_path,
        "model_name": "researchmm/STTN",
        "neighbor_stride": 5,
        "reference_length": 10,
        "max_load_num": 50,
    }

    ds = ds.with_column(
        "results",
        las_udf(
            VideoSttnInpaint,
            construct_args=constructor_kwargs,
            num_gpus=1,
            batch_size=1,
            concurrency=1,
        )(col("video_path")),
    )

    ds.show()

    # ╭────────────────────────────────┬───────────────────────────────────────────────────────────────────────────────────────╮
    # │ video_path                     ┆ results                                                                               │
    # │ ---                            ┆ ---                                                                                   │
    # │ Utf8                           ┆ Struct[output_path: Utf8, processed_frames: Int32, processed_resolution: List[Int32]] │
    # ╞════════════════════════════════╪═══════════════════════════════════════════════════════════════════════════════════════╡
    # │ https://las-cn-beijing-publi-… ┆ {output_path: tos://tos_bucket…                                                       │
    # ╰────────────────────────────────┴───────────────────────────────────────────────────────────────────────────────────────╯