视频质量评分--AI 数据湖服务-火山引擎

文档中心

立即注册

AI 数据湖服务

视频分析

视频质量评分

算子介绍

描述

视频质量评分处理器，基于 CLIP-IQA 对采样帧评分并聚合为视频质量分

核心功能：

视频质量评分：对采样帧进行评分并聚合
多来源支持：支持 URL/TOS/本地路径/二进制输入
可配置采样策略：按帧数、时间间隔、FPS等方式采样
可配置聚合方式：avg / max / min

格式支持：

输入：常见视频格式（MP4/MOV/MKV/AVI 等）
输出：浮点数质量评分(0.0-1.0)

注意与前提

细分项	注意与前提
费用	调用算子前，您需先了解使用算子时的模型调用费用，详情请参见大模型调用计费。
鉴权（API Key）	调用算子前，您需要先生成算子调用的API Key，并建议将API Key配置为环境变量，便于更安全地调用算子，详情请参见获取 API Key 并配置。
BaseURL	调用算子前，您需要先根据您当前使用的LAS服务所在地域，了解算子调用的BaseURL，用于配置算子调用路径参数取值。详情请参见获取 Base URL，下文中的调用示例仅作为参考，实际调用时需替换为您对应地域的路径取值。

Daft 调用

算子参数

输入

输入列名	说明
video_paths	可选，视频文件路径列（本地、TOS、HTTP等），与 video_binaries 二选一
video_binaries	可选，视频二进制数据列，与 video_paths 二选一
video_formats	可选，视频格式字符串列，配合 video_binaries 使用

输出

包含视频质量评分的浮点数组，无法评分返回null值

参数

如参数没有默认值，则为必填参数

参数名称	类型	默认值	描述
model_path	str	/opt/las/models	模型文件存储路径
clip_model_name	str	openai/clip-vit-large-patch14	CLIP 模型名称或路径
prompt	str	quality	质量评估提示词
device	str	cuda	设备类型，支持CPU和GPU设备默认值："cuda" 可选值："cpu", "cuda", "cuda:0", "cuda:1"等
sample_mode	str	by_count_uniform	采样模式，参考 VideoFrameSampler
start_time_sec	float	0.0	采样起始时间（秒）
end_time_sec	float or None		采样结束时间（秒）
count_k	int or None	8	均匀采样帧数（by_count_uniform使用）
interval_sec	float or None		时间间隔（秒，by_interval_time使用）
interval_frames	int or None		解码帧间隔（by_interval_frames使用）
target_fps	float or None		目标采样FPS（by_fps使用）
timestamps_sec	list[float] or None		采样时间戳列表（秒，by_timestamps使用）
max_frames	int or None		返回帧上限
reduce_mode	str	avg	多帧聚合策略，可选 "avg"
default_video_format	str	mp4	二进制/BASE64输入的视频格式

调用示例

下面的代码展示了如何使用 Daft（适用于分布式）运行算子对视频进行质量评分。由于输入是 URL 格式，只需要配置模型路径即可。

from __future__ import annotations

import os

import daft
from daft import col
from daft.las.functions.udf import las_udf
from daft.las.functions.video import VideoQualityScore

if __name__ == "__main__":
    TOS_TEST_DIR_URL = os.getenv("TOS_TEST_DIR_URL", "las-cn-beijing-public-online.tos-cn-beijing.volces.com")
    model_path = os.getenv("MODEL_PATH", "/opt/las/models")

    if os.getenv("DAFT_RUNNER", "native") == "ray":
        import logging

        import ray

        def configure_logging():
            logging.basicConfig(
                level=logging.INFO,
                format="%(asctime)s - %(name)s - %(levelname)s - %(message)s",
                datefmt="%Y-%m-%d %H:%M:%S",
            )
            logging.getLogger("tracing.span").setLevel(logging.WARNING)
            logging.getLogger("daft_io.stats").setLevel(logging.WARNING)
            logging.getLogger("DaftStatisticsManager").setLevel(logging.WARNING)
            logging.getLogger("DaftFlotillaScheduler").setLevel(logging.WARNING)
            logging.getLogger("DaftFlotillaDispatcher").setLevel(logging.WARNING)

        ray.init(dashboard_host="0.0.0.0", runtime_env={"worker_process_setup_hook": configure_logging})
        daft.set_runner_ray()

    daft.set_execution_config(actor_udf_ready_timeout=600)
    daft.set_execution_config(min_cpu_per_task=0)

    samples = {
        "video_path": [f"https://{TOS_TEST_DIR_URL}/public/shared_video_dataset/sample.mp4"],
    }
    ds = daft.from_pydict(samples)

    constructor_kwargs = {
        "model_path": model_path,
        "clip_model_name": "openai/clip-vit-large-patch14",
        "prompt": "quality",
        "device": "cuda",
        "sample_mode": "by_count_uniform",
        "count_k": 4,
        "reduce_mode": "avg",
    }

    ds = ds.with_column(
        "quality_score",
        las_udf(VideoQualityScore, construct_args=constructor_kwargs, num_gpus=1, batch_size=1, concurrency=1)(
            col("video_path")
        ),
    )

    ds.show()
    # ╭────────────────────────────────┬────────────────────╮
    # │ video_path                     ┆ quality_score      │
    # │ ---                            ┆ ---                │
    # │ String                         ┆ Float64            │
    # ╞════════════════════════════════╪════════════════════╡
    # │ https://las-cn-beijing-publi-… ┆ 0.37               │
    # ╰────────────────────────────────┴────────────────────╯

最近更新时间：2026.02.10 15:51:19

这个页面对您有帮助吗？

有用

无用

AI 数据湖服务

描述 #

核心功能： #

格式支持： #

算子参数 #

输入 #

输出 #

参数 #

调用示例 #

描述

核心功能：

格式支持：

算子参数

输入

输出

参数

调用示例