描述 #

多模态场景下提供大模型的深度思考能力
使用具备深度思考能力的 Doubao-1.5-thinking-pro 模型对文本进行分析理解，并返回结构化输出。模型在回答问题前，会进行问题分析与拆解，并基于此生成回答。

核心功能 #

• 深度思考机制：模型在回答问题前自动进行问题拆解和逻辑推理，生成思维链（reasoning_content）
• 输入简化机制：支持本地文件、HTTP/HTTPS URL、TOS/S3 对象存储等多种数据源，通过简单配置即可实现视觉理解能力
• 灵活思考模式：支持通过 thinking_type 参数控制深度思考模式（enabled / disabled / auto），在回答质量与性能之间灵活权衡

输入输出规范 #

• 输入格式：
  • 图片（images）：支持 string 或 list 形式
    • 支持的数据来源类型：
      • url：网络资源地址，支持 http/https/tos/s3，TOS/S3 会自动生成预签名 URL
      • base64：Base64 编码数据
      • binary：二进制数据（内部会转换为 Base64 编码）
  • 视频（videos）：支持 string 或 list 形式，数据来源类型与图片一致
  • 文本（texts）：支持 string 或 list 形式，作为用户提示词输入

（同一个字段中不允许同时混用字符串和列表两种类型）

• 输出格式：
  • 默认模式：返回 struct 类型，包含以下字段：
    • llm_result：模型最终回答内容
    • reasoning_content：模型的思维链 / 推理过程
  • 当设置环境变量 LAS_LLM_FINISH_REASON_CHECK=true 时，struct 中会额外包含：
    • finish_reason：模型结果结束原因，取值范围包括：
      • stop：正常终止
      • length：超出 token 限制
      • content_filter：命中内容过滤策略
  • 当设置环境变量 LAS_LLM_BOTS_REFERENCES=true 时，struct 中会额外包含：
    • references：模型引用的检索结果或外部知识信息，便于下游透传与解析

模型能力增强 #

• 思维链可视化：通过 reasoning_content 字段输出模型的推理过程，便于观测与复盘
• 结果可靠性控制：通过 finish_reason 字段识别异常终止情况，例如长度截断或内容过滤
• 多模态理解：支持图片 / 视频 / 文本的混合输入解析，适用于复杂多模态场景

版本兼容性说明 #

该算子（ArkLLMThinkingVision）在 Daft 0.6.5（及其以下版本），使用方式与 0.6.14 版本（及其以上版本）不相同。

• 在 Daft 0.6.14 及其以上版本中，输入时可以指定 images、texts、 videos 字段，分别对应模型的图片、文本、视频输入，支持同时输入。下面是一个示例：

df = df.with_column(

        "llm_result",

        las_udf(

            ArkLLMThinkingVision,

            construct_args={

                "model": "doubao-seed-1.6",

                "system_text": "你是一个专业的视频理解助手，能够分析视频中的内容并提供详细的描述。",

                "inference_type": "online",

            },

        )(videos=col("videos"), texts="请用简短的语言描述视频里的内容，返回格式为json。"),

    )

• 在 Daft 0.6.5 及其以下版本中，输入时只支持传入视频或图片，不支持同时传入视频和图片，通过multimodal_type指定输入类型，multimodal_type支持传入 "video" 和 "image"、"text"。同时也支持通过指定prompt传入文本信息。下面是一个示例：

df = df.with_column(

        "llm_result",

        las_udf(

            ArkLLMThinkingVision,

            construct_args={

                "model": "doubao-seed-1.6",

                "multimodal_type": "video",

                "system_text": "你是一个专业的视频理解助手，能够分析视频中的内容并提供详细的描述。",

                "prompt": "请用简短的语言描述视频里的内容，返回格式为json。",

                "inference_type": "online",

            },

        )(col("videos")),

    )

算子参数 #

输入 #

输出 #

默认情况下，返回字段类型为 struct，包含以下字段：

• llm_result: 模型输出结果
• reasoning_content: 模型输出的思维链内容（推理过程）

当环境变量 LAS_LLM_FINISH_REASON_CHECK=true 时，返回 struct 中会额外包含以下字段：

• finish_reason: 模型输出结束原因，常见取值包括：
• stop：正常终止
• length：生成长度达到上限
• content_filter：命中内容安全/过滤策略

当环境变量 LAS_LLM_BOTS_REFERENCES=true 时，返回 struct 中会额外包含以下字段：

• references: JSON 字符串形式的引用信息，用于承载模型检索到的外部知识或引用结果，方便下游解析与展示。

两个环境变量可以同时开启，此时输出 struct 中会同时包含上述字段。

参数 #

如参数没有默认值，则为必填参数

调用示例 #

下面的代码展示了如何使用 daft 访问火山方舟 多模态深度思考模型（豆包系列）进行文本推理。请注意每次大模型推理结果可能不同。

from __future__ import annotations

import os

import daft
from daft import col
from daft.las.functions.ark_llm.ark_llm_thinking_vision import ArkLLMThinkingVision
from daft.las.functions.udf import las_udf

if os.getenv("DAFT_RUNNER", "native") == "ray":
    import logging

    import ray

    def configure_logging():
        logging.basicConfig(
            level=logging.INFO,
            format="%(asctime)s - %(name)s - %(levelname)s - %(message)s",
            datefmt="%Y-%m-%d %H:%M:%S.%s".format(),
        )
        logging.getLogger("tracing.span").setLevel(logging.WARNING)
        logging.getLogger("daft_io.stats").setLevel(logging.WARNING)
        logging.getLogger("DaftStatisticsManager").setLevel(logging.WARNING)
        logging.getLogger("DaftFlotillaScheduler").setLevel(logging.WARNING)
        logging.getLogger("DaftFlotillaDispatcher").setLevel(logging.WARNING)

    ray.init(dashboard_host="0.0.0.0", runtime_env={"worker_process_setup_hook": configure_logging})
    daft.context.set_runner_ray()

daft.set_execution_config(min_cpu_per_task=0)

if __name__ == "__main__":
    # 需配置环境变量 LAS_API_KEY ： LAS_API_KEY 通过在 LAS 服务页面上创建获取
    queries = {
        "query": [
            "帮我规划5月去新疆的10天旅行安排",
        ]
    }

    df = daft.from_pydict(queries)

    df = df.with_column(
        "llm_result",
        las_udf(
            ArkLLMThinkingVision,
            construct_args={
                "model": "doubao-1.5-thinking-pro",
                "inference_type": "online",
            },
        )(texts=col("query")),
    )

    df = df.with_column("reasoning_content", col("llm_result").struct.get("reasoning_content"))
    df = df.with_column("llm_result", col("llm_result").struct.get("llm_result"))
    df.show()

    #  输出(每次大模型推理结果可能不同)
    # ╭──────────────────────────────────┬──────────────────────────────────────────────────────┬──────────────────────────────────────────────────────────╮
    # │ query                            ┆ llm_result                                           ┆ reasoning_content                                        │
    # │ ---                              ┆ ---                                                  ┆ ---                                                      │
    # │ Utf8                             ┆ Utf8                                                 ┆ Utf8                                                     │
    # ╞══════════════════════════════════╪══════════════════════════════════════════════════════╪══════════════════════════════════════════════════════════╡
    # │ 帮我规划5月去新疆的10天旅行安排… ┆                                                      ┆ 好的，用户让我帮忙规划一个5月份去新疆的10天旅行安排。首… │
    # │                                  ┆                                                      ┆                                                          │
    # │                                  ┆ 5 月是新疆旅行的 “初夏黄金期”，草原渐绿、花海初绽… ┆                                                          │
    # ╰──────────────────────────────────┴──────────────────────────────────────────────────────┴──────────────────────────────────────────────────────────╯