AI MediaKit 是火山引擎视频云面向 AI 云原生时代推出的智能多媒体工具集。它将视频云成熟的媒体处理技术解构为细粒度的原子能力，致力于构建适配 AI Agent 的多媒体能力底座。通过 AI MediaKit，开发者无需处理底层复杂的多媒体工程细节，即可让智能体精准、高效地执行图像、视频、音频的编辑与理解任务。 ## 产品架构 ![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/fbf8c39859364160a77aaeb359a10acd)

说明

架构图中展示的是 AI MediaKit 的完整规划，当前支持的工具以多媒体工具集为准。

## 产品优势 * **Agent 友好设计**：功能深度原子化，每个工具均搭载大模型可理解的语义描述与元数据。智能体无需额外训练即可通过描述识别工具意图，有效降低 Tool\-calling 的幻觉率。 * **高性价比处理**：依托云端弹性资源调度与闲时批量处理策略，为大批量媒体任务提供极具竞争力的价格，显著降低 AI 应用的整体 Token 消耗与运行成本。 * **完备的能力矩阵**：覆盖视频、图像、音频等模态，提供从底层处理到上层理解的“一站式”能力，满足从预处理到成片输出的全链路需求。 * **突破大模型输入瓶颈**：针对“视频理解”场景，将视频处理上限从 50 MB 提升至 **5 GB**，使长视频、高码率工程素材的 AI 分析成为可能。 ## 多媒体工具集目前 AI MediaKit 已上线以下原子工具。您可以根据业务场景对这些工具进行灵活组合与逻辑编排。 |**工具类型** |**工具名称** |**工具说明** |**接入方式** |**相关文档** | |---|---|---|---|---| |剪辑工具 |音视频拼接 |将多个视频片段或音频片段按指定顺序合并成一个新文件。 |API/Skill |[音视频拼接](https://www.volcengine.com/docs/6448/2279956) | ||音视频裁剪 |根据指定时间区间截取视频或音频，生成新的视频或音频文件。 |API/Skill |[音视频裁剪](https://www.volcengine.com/docs/6448/2279960) | ||音频提取 |将视频文件中的音频流分离并保存为独立的音频文件。 |API/Skill |[音频提取](https://www.volcengine.com/docs/6448/2279955) | ||音视频合成 |将不同的视频与音频轨道进行叠加组合，生成新的视频文件。 |API/Skill |[音视频合成](https://www.volcengine.com/docs/6448/2279959) | ||图片转视频 |将多张静态图片合成为动态视频。 |API/Skill |[图片转视频](https://www.volcengine.com/docs/6448/2279957) | ||音频混合 |将多个音频文件（如背景音乐、音效、人声）进行混音，并生成一个新的音频文件。 |API |[音频混合](https://www.volcengine.com/docs/6448/2436516) | ||音量调节 |调整视频音轨的整体音量，可放大、减小或静音。 |API |[音量调节与淡入淡出](https://www.volcengine.com/docs/6448/2479043) | ||声音淡入淡出 |为视频音轨或独立音频文件的开头和结尾添加声音渐强（淡入）或渐弱（淡出）效果。 |API |[音量调节与淡入淡出](https://www.volcengine.com/docs/6448/2479043) | ||音视频调速 |调整视频的播放倍速，实现快放或慢放效果。 |API |[音视频调速](https://www.volcengine.com/docs/6448/2371374) | ||视频画面翻转 |对视频画面进行上下或左右镜像翻转。 |API |[视频画面翻转](https://www.volcengine.com/docs/6448/2371376) | ||视频加字幕 |将字幕文件或文本内容，以指定样式压制到视频画面中，生成带内嵌字幕的新视频。 |API |[视频加字幕](https://www.volcengine.com/docs/6448/2371375) | ||视频加图片 |将静态图片（如 Logo、水印）叠加到视频画面的指定位置。 |API |[视频加图片](https://www.volcengine.com/docs/6448/2371373) | ||视频加滤镜 |为视频添加多种预设滤镜，显著提升视频的视觉氛围与艺术质感。 |API |[视频加滤镜](https://www.volcengine.com/docs/6448/2479042) | |视频工具 |画质增强 |内置包含智能超分、智能插帧、画面增强、自适应锐化、色彩增强等30 + 高质量原子算法的完备算子库，搭配视频内容理解与智能画质决策能力，可根据场景自动择优调用，全方位优化提升视频画质。 |API/Skill |[画质增强](https://www.volcengine.com/docs/6448/2279961) | ||画质增强\-大模型 |是基于扩散大模型的生成式视频增强修复技术。不仅可以还原被破坏的像素，更借助大规模技术，主动补全细节、理解语义，生成真实、自然、高保真的视频内容。 |API |[画质增强-大模型](https://www.volcengine.com/docs/6448/2407223) | ||字幕擦除 |针对视频中的内嵌字幕，实现高质量的无痕擦除，最大程度还原背景画面。 |API |[字幕擦除](https://www.volcengine.com/docs/6448/2371372) | ||场景切分 |识别视频场景变化自动进行视频切分，为视频编辑和内容分析提供基础。 |API |[场景切分](https://www.volcengine.com/docs/6448/2381963) | ||语音转字幕（ASR） |自动识别视频中的语音并转写为带时间戳的字幕文本，支持说话人识别。 |API |[语音转字幕 ASR](https://www.volcengine.com/docs/6448/2381968) | ||视频识别字幕（OCR） |自动识别视频中的语音并转写为带时间戳的字幕文本，支持多语言和说话人识别。 |API |[视频识别字幕 OCR](https://www.volcengine.com/docs/6448/2381965) | ||高光智剪\-短剧 |智能捕捉短剧正片中的“高燃片段”，批量生成爆款混剪视频。 |API |[高光智剪-短剧](https://www.volcengine.com/docs/6448/2381966) | ||高光智剪\-小游戏 |智能定位“全屏连击与极限通关”等高燃瞬间，让海量游戏录屏秒变吸睛素材。 |API |[高光智剪-小游戏](https://www.volcengine.com/docs/6448/2381962) | ||高光片段提取 |智能识别高光片段，输出精准时间戳、打分与内容描述。适用于短剧、小游戏场景。 |API |[高光片段提取](https://www.volcengine.com/docs/6448/2381964) | ||视频绿幕抠图 |针对绿幕场景进行抠像，移除背景并输出带透明通道的视频，适用于虚拟演播、合成与二次包装。 |API |[视频抠图](https://www.volcengine.com/docs/6448/2407252) | ||视频人像抠图 |基于人像分割移除视频背景，输出带透明通道的视频，适用于口播、讲解与虚拟背景替换。 |API |[视频抠图](https://www.volcengine.com/docs/6448/2407252) | ||剧情故事线分析 |智能解析影视剧内容，生成结构化剧情线，赋能智能剪辑、内容检索与互动播放。 |API |[剧情故事线分析](https://www.volcengine.com/docs/6448/2432751) | ||视频元信息获取 |解析视频封装与编码信息，获取分辨率、码率、帧率、编码格式等元数据，用于媒资质检与转码策略决策。 |API |[提交视频元信息获取任务 API](https://www.volcengine.com/docs/6448/2407219) | |音频工具 |人声背景音分离 |将视频的音频分离输出为人声和背景音两个音频。 |API |[人声背景音分离](https://www.volcengine.com/docs/6448/2381967) | ||音频元信息获取 |解析音频封装与编码信息，获取时长、码率、采样率、编码格式等元数据，用于媒资管理与转码参数校验。 |API |[提交音频元信息获取任务 API](https://www.volcengine.com/docs/6448/2407218) | |图像工具 |图像画质增强 |基于图像内容理解智能决策，全方位提升图片分辨率、清晰度与色彩表现。 |API |[图像画质增强](https://www.volcengine.com/docs/6448/2407225) | ||图像画质评估 |模拟人类视觉感受，对图像的清晰度、美学观感、噪声强度、纹理丰富度、色调均衡等维度进行多指标评估。 |API |[图像画质评估](https://www.volcengine.com/docs/6448/2407255) | ||图像背景移除（智能抠图） |一键抠除图片复杂背景，输出透明底主体图。 |API |[图像背景移除（智能抠图）](https://www.volcengine.com/docs/6448/2407253) | ||图像擦除修复 |智能擦除图片中的常见图标或指定文字，并以符合背景纹理的方式填充修复。 |API |[图像擦除修复](https://www.volcengine.com/docs/6448/2407256) | ||图像文字识别（OCR） |将图片中文字转为可编辑结构化文本的 OCR 识别能力。 |API |[图像文字识别（OCR）](https://www.volcengine.com/docs/6448/2407254) | |大模型处理工具 |视频理解拓展工具 |支持对大视频文件使用豆包视觉大模型进行理解，提供高效、精准的视频内容解析能力。支持最高 5 GB 视频 URL 传入。 |API/SDK/Skill |[视频理解拓展工具](https://www.volcengine.com/docs/6448/2222229) | ## 应用场景 * **多模态数据预处理**：在垂类模型训练前，对海量视频进行画质检测与增强、多策略抽帧、OCR/ASR 文本标准化提取、音频抽取、格式归一化、人声分离等操作，提升模型训练的效率与识别精度。 * **AI 漫剧制作**：完成从漫画素材到视频合成、配音对齐、字幕添加、视频超分增强的全流程，实现内容生产的半自动化或全自动化。 * **业务出海与视频翻译**：提供多语种字幕翻译、多角色声音复刻及自然口型合成，助力视频内容低成本、高效率地实现全球化传播。 * **长视频洞察与知识提取**：利用大模型对长视频进行深度多模态理解，快速提取有价值的信息，将视频从简单的数据资产转化为可支持业务决策的知识资产。 * **高光智剪与营销分发**：基于智能高光识别技术从正片中准确地提取出精彩片段。切片精度能达到毫秒级，不会出现截断和吞音的问题，生成的视频质感真实流畅，有效助力内容传播。

智能处理