描述 #

多模态场景下提供大模型的深度思考能力
使用具备深度思考能力的模型，对图片、视频或文本进行分析理解，并返回结构化文本输出。算子会自动构建符合多模态模型规范的 message 结构，用户只需按约定提供图片 / 视频 / 文本数据即可完成推理。

核心功能 #

• 深度思考机制：模型在回答问题前自动进行问题拆解和逻辑推理，生成思维链（reasoning_content）
• 多模态场景支持：同时支持图片 / 视频 / 文本输入，自动完成多模态消息拼装
• 输入简化机制：支持本地文件、HTTP/HTTPS URL、TOS/S3 对象存储等多种数据源，通过简单配置即可实现视觉理解能力
• 灵活思考模式：支持通过 thinking_type 参数控制深度思考模式（enabled / disabled / auto），在回答质量与性能之间灵活权衡

输入输出规范 #

• 输入格式：
  • 图片（images）：支持 string 或 list 形式
    • 支持的数据来源类型：
      • url：网络资源地址，支持 http/https/tos/s3，TOS/S3 会自动生成预签名 URL
      • base64：Base64 编码数据
      • binary：二进制数据（内部会转换为 Base64 编码）
  • 视频（videos）：支持 string 或 list 形式，数据来源类型与图片一致
  • 文本（texts）：支持 string 或 list 形式，作为用户提示词输入

（同一个字段中不允许同时混用字符串和列表两种类型）

• 输出格式：
  • 默认模式：返回 struct 类型，包含以下字段：
    • llm_result：模型最终回答内容
    • reasoning_content：模型的思维链 / 推理过程
  • 当设置环境变量 LAS_LLM_FINISH_REASON_CHECK=true 时，struct 中会额外包含：
    • finish_reason：模型结果结束原因，取值范围包括：
      • stop：正常终止
      • length：超出 token 限制
      • content_filter：命中内容过滤策略
  • 当设置环境变量 LAS_LLM_BOTS_REFERENCES=true 时，struct 中会额外包含：
    • references：模型引用的检索结果或外部知识信息，便于下游透传与解析

模型能力增强 #

• 思维链可视化：通过 reasoning_content 字段输出模型的推理过程，便于观测与复盘
• 结果可靠性控制：通过 finish_reason 字段识别异常终止情况，例如长度截断或内容过滤
• 多模态理解：支持图片 / 视频 / 文本的混合输入解析，适用于复杂多模态场景

Chat #

接口说明 #

通过Chat接口调用 doubao-seed-2.0 模型进行多模态理解。
支持的模型和版本：

• doubao-seed-2-0-pro-260215
• doubao-seed-2-0-lite-260215
• doubao-seed-2-0-mini-260215

请求参数 #

返回数据 #

示例 #

请求示例

curl --location "https://operator.las.cn-beijing.volces.com/api/v1/chat/completions" \
--header "Content-Type: application/json" \
--header "Authorization: Bearer $$LAS_API_KEY" \
--data '{
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "type": "video_url",
                    "video_url": {
                        "url": "https://las-ai-cn-beijing.tos-cn-beijing.volces.com/*****/sample.mp4"
                    }
                },
                {
                    "type": "text",
                    "text": "视频里面有什么"
                }
            ]
        }
    ],
    "model": "doubao-seed-2-0-pro-260215"
}'

返回示例

{
  "model": "doubao-seed-2-0-pro-260215",
  "usage": {
    "prompt_tokens": 3877,
    "completion_tokens": 493,
    "total_tokens": 4370,
    "prompt_tokens_details": {
      "cached_tokens": 0,
      "provisioned_tokens": null
    },
    "completion_tokens_details": {
      "reasoning_tokens": 354,
      "provisioned_tokens": null
    }
  },
  "created": 1772692173,
  "id": "0217726921599114f28f9638b6effb5ab036b3eddba1d5642ea3d",
  "choices": [
    {
      "finish_reason": "stop",
      "index": 0,
      "logprobs": null,
      "message": {
        "content": "视频展现的是海边惬意的户外场景：\n1. 核心内容：一位戴着浅米色宽檐帽、黑色墨镜的女士，穿着白色上衣+印花彩色半身裙，靠在白色建筑的墙角，坐在折叠椅上手风琴演奏，演奏时还伴随哼唱，状态十分放松。她的脚边放着一瓶饮用水，背景是蓝色的海面和远处的低矮岸线。\n2. 画面变化：过程中镜头逐渐向女士推近，能越来越清晰看到她演奏的细节和神态；后半段还有穿绿短袖、浅色长裤的路人从她旁边经过。\n整体氛围闲适，充满海滨区域的松弛感。",
        "reasoning_content": "\n用户现在需要描述视频里的内容对吧，首先先梳理场景：首先是户外，靠海的地方，有个白色建筑的墙角对吧？然后主角是个女士，戴着浅色宽檐帽，白上衣，花裙子，墨镜，坐在折叠椅上，正在拉手风琴，旁边地上放着瓶装水，背景是海和远处的岸。然后过程里她一边拉一边还在唱，镜头慢慢往她那边推近对吧？然后后面有路人经过，比如穿绿短袖浅色裤子的人从旁边走过，还有其他路人？哦对，整体氛围很悠闲，是海边的街头演奏那种感觉对吧？\n等下整理清楚：\n首先整体场景：这是在海边的户外，靠近一处白色建筑的墙角，地面是石质地，背景能看到蓝色的海面和远处的低矮陆地，天气晴朗。\n然后核心人物：一位女士坐在黑色折叠椅上，她戴着浅米色宽檐帽、黑色墨镜，穿白色上衣、印着花卉图案的彩色半身裙，脚上是黑色凉鞋，正演奏着手风琴，演奏的过程中她还在跟着哼唱，状态很放松悠闲。她脚边放着一瓶透明的饮用水，旁边还有琴盒类的黑色箱子。\n然后镜头变化：视频过程中镜头逐渐向这位演奏的女士推近，到后半段能清晰看到她演奏的细节和神态。\n最后还有小细节：视频后半段有路人从她旁边的建筑旁走过，比如一位穿薄荷绿短袖、浅卡其色长裤的女士从旁边经过。\n整个氛围很闲适，充满海边小镇的惬意感。\n对，这样说清楚就可以了。",
        "role": "assistant"
      }
    }
  ],
  "object": "chat.completion"
}

Responses #

接口说明 #

通过Responses接口调用 doubao-seed-2.0 模型进行多模态理解。 接口定义参考 创建模型响应。
支持的模型和版本：

• doubao-seed-2-0-pro-260215
• doubao-seed-2-0-lite-260215
• doubao-seed-2-0-mini-260215

示例 #

请求示例

curl --location "https://operator.las.cn-beijing.volces.com/api/v1/responses" \
--header "Content-Type: application/json" \
--header "Authorization: Bearer $LAS_API_KEY" \
--data '{
    "input": [
        {
            "role": "user",
            "content": [
                {
                    "type": "input_video",
                    "video_url": "https://las-ai-cn-beijing.tos-cn-beijing.volces.com/*****/sample.mp4"
                },
                {
                    "type": "input_text",
                    "text": "视频里面有什么"
                }
            ]
        }
    ],
    "model": "doubao-seed-2-0-pro-260215"
}'

返回示例

{
    "model": "doubao-seed-2-0-pro-260215",
    "usage": {
        "prompt_tokens": 3877,
        "completion_tokens": 493,
        "total_tokens": 4370,
        "prompt_tokens_details": {
            "cached_tokens": 0,
            "provisioned_tokens": null
        },
        "completion_tokens_details": {
            "reasoning_tokens": 354,
            "provisioned_tokens": null
        }
    },
    "created": 1772692173,
    "id": "0217726921599114f28f9638b6effb5ab036b3eddba1d5642ea3d",
    "choices": [
        {
            "finish_reason": "stop",
            "index": 0,
            "logprobs": null,
            "message": {
                "content": "视频展现的是海边惬意的户外场景：\n1. 核心内容：一位戴着浅米色宽檐帽、黑色墨镜的女士，穿着白色上衣+印花彩色半身裙，靠在白色建筑的墙角，坐在折叠椅上手风琴演奏，演奏时还伴随哼唱，状态十分放松。她的脚边放着一瓶饮用水，背景是蓝色的海面和远处的低矮岸线。\n2. 画面变化：过程中镜头逐渐向女士推近，能越来越清晰看到她演奏的细节和神态；后半段还有穿绿短袖、浅色长裤的路人从她旁边经过。\n整体氛围闲适，充满海滨区域的松弛感。",
                "reasoning_content": "\n用户现在需要描述视频里的内容对吧，首先先梳理场景：首先是户外，靠海的地方，有个白色建筑的墙角对吧？然后主角是个女士，戴着浅色宽檐帽，白上衣，花裙子，墨镜，坐在折叠椅上，正在拉手风琴，旁边地上放着瓶装水，背景是海和远处的岸。然后过程里她一边拉一边还在唱，镜头慢慢往她那边推近对吧？然后后面有路人经过，比如穿绿短袖浅色裤子的人从旁边走过，还有其他路人？哦对，整体氛围很悠闲，是海边的街头演奏那种感觉对吧？\n等下整理清楚：\n首先整体场景：这是在海边的户外，靠近一处白色建筑的墙角，地面是石质地，背景能看到蓝色的海面和远处的低矮陆地，天气晴朗。\n然后核心人物：一位女士坐在黑色折叠椅上，她戴着浅米色宽檐帽、黑色墨镜，穿白色上衣、印着花卉图案的彩色半身裙，脚上是黑色凉鞋，正演奏着手风琴，演奏的过程中她还在跟着哼唱，状态很放松悠闲。她脚边放着一瓶透明的饮用水，旁边还有琴盒类的黑色箱子。\n然后镜头变化：视频过程中镜头逐渐向这位演奏的女士推近，到后半段能清晰看到她演奏的细节和神态。\n最后还有小细节：视频后半段有路人从她旁边的建筑旁走过，比如一位穿薄荷绿短袖、浅卡其色长裤的女士从旁边经过。\n整个氛围很闲适，充满海边小镇的惬意感。\n对，这样说清楚就可以了。",
                "role": "assistant"
            }
        }
    ],
    "object": "chat.completion"
}

错误码 #