# 1. 产品介绍 ## 1.1 产品名称 OmniHuman1.5 ## 1.2 产品介绍 OmniHuman1.5（即梦同源数字人模型），该模型可根据用户上传的**单张图片+音频**，生成与图片对应的**视频效果**。支持输入任意画幅包含人物或其他主体（宠物、动漫等）的图片，结合音频，生成高质量的视频。人物的情绪、动作与音频具有强关联性，支持通过提示词（prompt）对画面、动作、运镜进行调整。同时OmniHuman1.5对动漫、宠物等形象支持较好，允许指定讲话人/主体，可广泛应用于内容表达、唱歌和表演等场景。相较于上一代模型，OmniHuman1.5 在**运动自然度和结构稳定性**提升明显，在**人物/主体的运动表现力和画面质量上更优。** 可以广泛应用于制作剧情对话、多人对话/对唱、商品交互、漫剧等内容。对比其他视频通用模型，OmniHuman 数字人大模型在**人物/主体的剧情演绎效果**上极具优势。 ## 1.3 产品优势 1. **节奏性表演：** 模型效果的灵活性延伸到了音乐领域，算法能够仅凭一张图像和一首歌曲，创造出富有情感的数字歌手。在我们的推理模块驱动下，动作不仅限于简单的口型同步，还包括自然的停顿和节奏变化，能够灵活应对从独唱抒情歌曲到欢快演唱会等各种风格。 2. **情感表演：** 仅通过一张图像和一段音频，模型就能让数字演员“活”起来。通过分析音频的情感内涵（无需文本提示），它能够生成引人入胜、富有电影感的表演，涵盖从激烈愤怒到真挚告白的完整戏剧表现力。 3. **上下文感知：** 我们的模型通过解析音频的语义上下文，超越了简单的口型同步和重复动作，使角色能够表现出真实的情感变化，并让动作与他们的言语和意图相匹配，仿佛他们拥有自己的意志。 4. **文本引导的多模态表现：** 算法精心设计的框架接受文本提示，并展示出卓越的提示遵循能力，从而能够精确控制物体生成、镜头运动和特定动作，同时保持完美的音频同步。 5. **单人/多人场景表演：** 模型的框架扩展到复杂的多人场景，它通过将单独的音轨路由到单个画面中正确的角色，来生成动态的表演，支持指定说话人或一起表演。 6. **支持多样化主体：** 模型展示了绝佳的鲁棒性，涵盖了令人难以置信的多样化主题，包括真实的动物、拟人化的角色和风格化的卡通 :::warning 注意模型生成具有一定的随机性，并非每次生成效果均符合您的预期 ::: ## 1.4 效果演示 > 下方演示案例仅用于展示本模型的能力，如果侵犯了您的权利，请联系我们删除 |原图 |驱动效果 |备注 | |---|---|---| | ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_1377552fc27fd6b88428d10de354ed1d.png) |

|仅使用图片与音频驱动，不输入提示词。 |\ | | | | |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_4f74b9c2e48664735261743016612338.png) |

|使用图片与音频驱动，使用提示词描述运镜效果。 |\ | | | | |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_8922c469d311c0e97ba6b70b4d58dcf8.png) |

|使用图片与音频驱动，未输入提示词|\ | | |注意：水印为后期添加，非模型生成 | # 2. 提示词指南 ## **2.1 核心原则** * **++把编写提示词当成讲故事++**，使用连贯自然的自然语言，尽可能减少孤立词汇的堆砌。 * 只描述动态的事件即可，图片中已经包含的静态特征（角色穿什么衣服、戴什么首饰等等）无需描述。 * 提示词需要遵循清晰、不矛盾、少否定的原则。使用具体而非抽象的描述，分步骤引导。 ## **2.2 最佳实践模板** **推荐结构：** 镜头运动 + 说话角色情绪 + 说话状态（说话/哭泣/唱歌/...） + 具体动作 + （可选）背景事件/其他角色的动作 > **完整示例：** "镜头从侧面缓慢推进到正面中景。年轻女子坐在窗边，心情平静，轻轻端起咖啡杯，微笑着对镜头说话。旁边的男孩悄悄看着她，时不时转向镜头笑笑。背景中灯光柔和地闪烁。" ## 2.3 提示词编写示例 |指令类型及编写技巧 |提示词示例 |驱动效果 | |---|---|---| |连续动作及走位控制|镜头跟随，男人转过身看向镜头向前走，陶醉地唱歌。他先用双手摸领口，然后双手张开抬起头，沉醉的样子。 |

|\ || | |\ |> * 技巧与视频生成模型一致，可以通过描述运镜结束时的镜头状态，精准控制运镜快慢与结束位置。如“镜头推进，聚焦到xx”| | |\ |> * 使用类似“迅速”这样的词汇，能提高运镜响应率 | | | |情绪层次控制&微表情控制|男人先是神情淡定，对着镜头说话。随后突然变得紧张惊慌，眉头紧皱 |

|\ |> 让角色与环境产生自然的互动关系，或是描述背景画面里所发生的事件 | | | ## 2.4 注意事项 #### 推荐做法： * 在提示词中将“角色xxx说话”“角色xxx唱歌”写出，有助于提高说话表现 * 视频清晰度高度依赖输入的图片！尽可能上传清晰度更高的图片 * 单次生成效果具随机性，复杂场景可多次抽卡尝试 * 输入提示词效果不佳，也可以尝试不输提示词看看 #### 效果问题规避方法： * 结构稳定性 15 秒以内较好，15 秒后可能出现衰退 * 人脸占比过小会偶现口型不动（角色不说话）的现象，尽可能规避超远景 * 人物长时间出镜再入镜后易出现一致性变化，设计提示词时尽量规避角色反复出镜的情况 * 极端姿势或角度效果可能不佳 # 3. 入参与出参说明 |入参 |图片 + 音频 + Prompt（提示词，选填） |1. 图片格式：JPG(JPEG), PNG, JFIF 等常见格式, 建议使用JPG格式|\ | | |2. 图片要求：小于5 MB，小于4096\*4096，输入图越清晰效果越好|\ | | |3. 图片：建议做主体识别后再进行驱动，如果需要指定说话人，需要先进行主体检测，如不需要指定说话人，则可跳过主体检测步骤|\ | | |4. 音频：时长必须小于60秒，音频超出60秒会报错生成失败（建议使用15秒以内音频，超出15秒后效果会有一定劣化）|\ | | |5. 分辨率：1080P（默认）、720P|\ | | |6. Prompt：仅限中文、英语、日语、韩语、墨西哥语、印尼语，不可超过300字符 | |---|---|---| |**出参** |**图片驱动后的视频** |1. **输出视频格式为mp4，分辨率为1080P/720P**|\ | | |2. **1080P视频RTF为27，720P视频RTF为23，如遇服务堆积可能会增加耗时** | # 4. 服务开通与计费规则 ## 4.1 服务开通您需要使用火山账号登录控制台，在[即梦AI ](https://console.volcengine.com/ai/ability/detail/2)开通「[OmniHuman1.5](https://console.volcengine.com/ai/ability/detail/2)」能力，服务开通后可通过接口调用 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_41d9d32b91d661980bdd7298dfde3cae.png) ## 4.2 计费规则本服务按生成视频时长计费 |单价 |并发限额 | |---|---| |1 元/秒 |1 | ## 4.3 欠费关停策略 * 账户可用余额不足或账户可用余额小于0被扣为负值，即为欠费。 * 账户欠费起2个小时内可正常使用服务。 * 自账户欠费起24个小时仍未能补缴所有欠费账单，视为主动放弃服务，资源将被释放且无法恢复。