视觉模型支持传入图片、视频和文档，完成图像描述、视觉问答、内容审核等视觉相关任务。 ## 支持模型 250615及之后版本的视觉模型，如无特殊说明，默认支持 Responses API，具体请参见：[视觉理解能力](/docs/82379/1330310#ff5ef604)。 ## API文档 [Responses API](https://www.volcengine.com/docs/82379/1569618) ## 图片理解模型支持理解图片的信息，并结合这些信息完成如描述其中的物体等视觉相关任务。关于图片理解支持的图片输入方式及示例，请参见[图片理解](/docs/82379/1362931)。建议优先使用 Files API 上传本地文件，适用于图片文件较大，或者需要在多个请求中重复使用图片的场景。 > 该方式支持最大 512MB 的文件，默认存储 7 天，存储有效期取值范围为1\-30天。示例中用到的图片文件及提示词如下： |图片文件 |提示词 | |---|---| |![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/8ebf433e57124e1585d2377ba83e4c27~tplv-goo7wpa0wc-image.image =1226x) |请给出图片中的内容，并根据图片内容回答支持输入图片的模型系列是哪个？ | 代码示例： ```mixin-react return ( { if (event instanceof ReasoningSummaryTextDeltaEvent) { System.out.print(((ReasoningSummaryTextDeltaEvent) event).getDelta()); } if (event instanceof OutputItemAddedEvent) { System.out.println("\\nOutputItem " + (((OutputItemAddedEvent) event).getItem().getType()) + " Start: "); } if (event instanceof OutputTextDeltaEvent) { System.out.print(((OutputTextDeltaEvent) event).getDelta()); } if (event instanceof OutputTextDoneEvent) { System.out.println("\\nOutputText End."); } if (event instanceof OutputItemDoneEvent) { System.out.println("\\nOutputItem " + ((OutputItemDoneEvent) event).getItem().getType() + " End."); } if (event instanceof FunctionCallArgumentsDoneEvent) { System.out.println("\\nFunctionCall Arguments: " + ((FunctionCallArgumentsDoneEvent) event).getArguments()); } if (event instanceof ResponseCompletedEvent) { System.out.println("\\nResponse Completed. Usage = " + ((ResponseCompletedEvent) event).getResponse().getUsage()); } }); service.shutdownExecutor(); } } \`\`\` `}> ## 视频理解模型可理解视频中的视觉信息，可以完成如描述其中的物体、分析动作逻辑等视觉相关任务。关于视频理解支持的文件输入方式及示例，请参见[视频理解](/docs/82379/1895586)。建议优先使用 Files API 上传本地视频文件，适用于视频文件较大，或者需要在多个请求中重复使用视频的场景。 > 该方式支持最大 512MB 的文件，默认存储 7 天，存储有效期取值范围为1\-30天。示例中用到的视频文件及提示词如下： |视频文件 |提示词 | |---|---| |

|请你描述下视频中的人物的一系列动作，以JSON格式输出开始时间（start_time）、结束时间（end_time）、事件（event）、是否危险（danger），请使用HH:mm:ss表示时间戳。 |\ | | | 示例代码： ```mixin-react return ( { if (event instanceof ReasoningSummaryTextDeltaEvent) { System.out.print(((ReasoningSummaryTextDeltaEvent) event).getDelta()); } if (event instanceof OutputItemAddedEvent) { System.out.println("\\nOutputItem " + (((OutputItemAddedEvent) event).getItem().getType()) + " Start: "); } if (event instanceof OutputTextDeltaEvent) { System.out.print(((OutputTextDeltaEvent) event).getDelta()); } if (event instanceof OutputTextDoneEvent) { System.out.println("\\nOutputText End."); } if (event instanceof OutputItemDoneEvent) { System.out.println("\\nOutputItem " + ((OutputItemDoneEvent) event).getItem().getType() + " End."); } if (event instanceof FunctionCallArgumentsDoneEvent) { System.out.println("\\nFunctionCall Arguments: " + ((FunctionCallArgumentsDoneEvent) event).getArguments()); } if (event instanceof ResponseCompletedEvent) { System.out.println("\\nResponse Completed. Usage = " + ((ResponseCompletedEvent) event).getResponse().getUsage()); } }); service.shutdownExecutor(); } } \`\`\` `}> ## 文档理解模型支持处理PDF格式的文档，在预处理时会分页来处理成多图，然后将每页图像输入模型进行处理，以实现对文档内容的理解和分析。关于文档理解支持的文件输入方式及示例，请参见[文档理解](/docs/82379/1902647)。建议优先选择 Files API 上传的方式，适用于文件较大，或者需要在多个请求中重复使用文件的场景。 > 该方式支持最大 512MB 的文件，默认存储 7 天，存储有效期取值范围为1\-30天。示例中用到的PDF文件及提示词如下： |PDF文件 |提示词 | |---|---| |![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/0335ac1d4cdc4378bd291584131c2cce~tplv-goo7wpa0wc-image.image =183x) |按段落给出文档中的文字内容，以JSON格式输出，包括段落类型（type）、文字内容（content）信息。 | 代码示例： ```mixin-react return ( { if (event instanceof ReasoningSummaryTextDeltaEvent) { System.out.print(((ReasoningSummaryTextDeltaEvent) event).getDelta()); } if (event instanceof OutputItemAddedEvent) { System.out.println("\\nOutputItem " + (((OutputItemAddedEvent) event).getItem().getType()) + " Start: "); } if (event instanceof OutputTextDeltaEvent) { System.out.print(((OutputTextDeltaEvent) event).getDelta()); } if (event instanceof OutputTextDoneEvent) { System.out.println("\\nOutputText End."); } if (event instanceof OutputItemDoneEvent) { System.out.println("\\nOutputItem " + ((OutputItemDoneEvent) event).getItem().getType() + " End."); } if (event instanceof FunctionCallArgumentsDoneEvent) { System.out.println("\\nFunctionCall Arguments: " + ((FunctionCallArgumentsDoneEvent) event).getArguments()); } if (event instanceof ResponseCompletedEvent) { System.out.println("\\nResponse Completed. Usage = " + ((ResponseCompletedEvent) event).getResponse().getUsage()); } }); service.shutdownExecutor(); } } \`\`\` `}>

火山方舟