视频内容理解（Qwen VL 系列模型）--AI 数据湖服务-火山引擎

文档中心

立即注册

AI 数据湖服务

视频理解

视频内容理解（Qwen VL 系列模型）

算子介绍

描述

Qwen2.5-VL 多模态视频理解模型 - 时序语义解析与自然语言描述生成

核心功能

多模态时序建模
支持 URL/Base64编码/二进制流 三种视频格式
时空联合建模
捕捉视频时空特征与语义关联
对话式提示支持
通过 prompt 参数引导生成方向
资源使用
推荐使用48G及以上显存的GPU

优化特性

中英文混合场景优化：特别针对中文语义增强
支持先将视频尺寸修正为一致，建议按照视频和GPU情况设置尺寸

Daft 调用

算子参数

输入

输入列名	说明
videos	包含视频数据的数组，元素类型为字符串或者二进制。
user_prompts	视频理解对应的prompt，默认为None。如果不传入，则默认使用参数中的prompt。

输出

处理后的数组，元素为每个视频的视觉理解结果。

参数

如参数没有默认值，则为必填参数

参数名称	类型	默认值	描述
video_src_type	str	video_url	输入视频的格式类型，支持： - tos / http 地址(video_url) - base64编码(video_base64) - 二进制流(video_binary) 可选值：["video_url", "video_base64", "video_binary"] 默认值："video_url"
model_path	str	/opt/las/models	本地模型文件存储的绝对路径，默认为容器内预置路径。当使用自定义模型时需修改此路径默认值："/opt/las/models"
model_name	str	Qwen/Qwen2.5-VL-7B-Instruct	支持的视觉语言模型版本，当前仅支持 Qwen2.5-VL系列模型可选值：["Qwen/Qwen2.5-VL-7B-Instruct"] 默认值："Qwen/Qwen2.5-VL-7B-Instruct"
prompt	str	请给出这段视频的详细描述。	用户理解视频内容的提示词，模型会根据提示词来生成视频的描述。默认值："请给出这段视频的详细描述。"
batch_size	int	4	单次推理处理的样本数量。较大的batch_size可提升吞吐但增加显存消耗，建议根据GPU显存调整。默认值：4
dtype	str	bfloat16	模型推理精度选择： - bfloat16: 平衡精度与速度 - float16: 更快的推理速度 - float32: 最高精度但显存消耗最大可选值：["bfloat16", "float16", "float32"] 默认值："bfloat16"
use_flash_attention_2	bool	True	是否使用Flash Attention 2优化注意力计算（需CUDA兼容且dtype为16位浮点时生效）默认值：True
max_caption_length	int	256	模型生成描述的最大token数。较长的生成可能包含更多细节但增加计算时间默认值：256
min_pixels	int or None	None	视频最小像素，不设置时，默认使用视频的原像素。视频像素越大，GPU显存占用越高。默认值：None
max_pixels	int or None	None	视频最大像素，不设置时，默认使用视频的原像素。视频像素越大，GPU显存占用越高。默认值：None
fps	float or None	None	视频帧率，不设置时，默认使用视频的原帧率。视频帧率越高，GPU显存占用越高。默认值：None
do_sample	bool	False	是否启用采样生成。为True时，模型会以概率方式采样下一个token，生成结果更具多样性；为False时，采用贪心或束搜索，生成结果更确定。默认值：False
temperature	float	1.0	采样温度，控制生成内容的随机性。值越高，生成越多样化；值越低，生成越保守。默认值：1.0
top_k	int	50	采样时仅从概率最高的前k个token中选取下一个token。较小的k值可提升生成的相关性，较大的k值增加多样性。默认值：50
top_p	float	1.0	nucleus采样的累计概率阈值。仅从累计概率大于top_p的token集合中采样，控制生成内容的多样性。值越小生成越保守，值越大生成越多样。默认值：1.0
rank	int or None	None	指定使用的GPU设备编号（多卡环境有效）。例如：0表示第一张GPU，1表示第二张GPU 默认值：None

调用示例

下面的代码展示了如何使用 daft 运行算子理解视频内容，并按照指令生成描述。

from __future__ import annotations

import logging
import os

import ray

import daft
from daft import col
from daft.las.functions.multimodal.qwen_vl_video_understanding import QwenVLVideoUnderstanding
from daft.las.functions.udf import las_udf

if __name__ == "__main__":
    os.environ["DAFT_RUNNER"] = "ray"

    def configure_logging():
        logging.basicConfig(
            level=logging.INFO,
            format="%(asctime)s - %(name)s - %(levelname)s - %(message)s",
            datefmt="%Y-%m-%d %H:%M:%S.%s".format(),
        )
        logging.getLogger("tracing.span").setLevel(logging.WARNING)
        logging.getLogger("daft_io.stats").setLevel(logging.WARNING)
        logging.getLogger("DaftStatisticsManager").setLevel(logging.WARNING)
        logging.getLogger("DaftFlotillaScheduler").setLevel(logging.WARNING)
        logging.getLogger("DaftFlotillaDispatcher").setLevel(logging.WARNING)

    ray.init(dashboard_host="0.0.0.0", runtime_env={"worker_process_setup_hook": configure_logging})
    daft.context.set_runner_ray()
    daft.set_execution_config(actor_udf_ready_timeout=600)
    daft.set_execution_config(min_cpu_per_task=0)

    tos_dir_url = os.getenv("TOS_DIR_URL", "las-cn-beijing-public-online.tos-cn-beijing.volces.com")
    samples = {
        "video_path": [
            f"https://{tos_dir_url}/public/shared_video_dataset/eating_56.mp4"
        ],
        "prompt": ["请给出视频的详细描述。"]  
    }

    video_src_type = "video_url"
    model_path = os.getenv("MODEL_PATH", "/opt/las/models")
    model_name = os.getenv("MODEL_NAME", "Qwen/Qwen2.5-VL-7B-Instruct")
    dtype = "bfloat16"
    use_flash_attention_2 = True
    default_prompt = None
    max_caption_length = 256
    min_pixels = 320 * 160
    max_pixels = 320 * 160
    fps = 1
    batch_size = 2
    rank = 0

    ds = daft.from_pydict(samples)
    ds = ds.with_column(
        "caption",
        las_udf(
            QwenVLVideoUnderstanding,
            construct_args={
                "video_src_type": video_src_type,
                "model_path": model_path,
                "model_name": model_name,
                "dtype": dtype,
                "use_flash_attention_2": use_flash_attention_2,
                "prompt": default_prompt,
                "max_caption_length": max_caption_length,
                "min_pixels": min_pixels,
                "max_pixels": max_pixels,
                "batch_size": batch_size,
                "rank": rank,
            },
            num_gpus=1,
            batch_size=2,
            concurrency=1,
        )(col("video_path"), col("prompt")),
    )

    ds.show()

    # ╭────────────────────────────────┬─────────────────────────┬─────────────────────────────────────────────────────────────╮
    # │ video_path                     ┆ prompt                  ┆ caption                                                     │
    # │ ---                            ┆ ---                     ┆ ---                                                         │
    # │ Utf8                           ┆ Utf8                    ┆ Utf8                                                        │
    # ╞════════════════════════════════╪═════════════════════════╪═════════════════════════════════════════════════════════════╡
    # │ tos://las-cn-beijing-public-o… ┆ 请给出视频的详细描述。…     ┆ 这是一段动画片段，画面中出现了一个卡通角色，它看起来像是一…          │
    # ╰────────────────────────────────┴─────────────────────────┴─────────────────────────────────────────────────────────────╯

最近更新时间：2026.01.08 19:15:09

这个页面对您有帮助吗？

有用

无用

AI 数据湖服务

描述 #

核心功能 #

优化特性 #

算子参数 #

输入 #

输出 #

参数 #

调用示例 #

描述

核心功能

优化特性

算子参数

输入

输出

参数

调用示例