# 1. 产品介绍 ## 1.1 产品名称单图音频驱动 ## 1.2 产品介绍根据用户上传的单张**图片**+**音频**，生成该图片对应的视频效果。其中，用户上传的单张图片可以是人像图片，也可以是宠物图片/动漫图片等。 ## 1.3 驱动模式说明 |模式名称 |介绍 |输入 |输出 | |---|---|---|---| |单图音频驱动（普通模式） |* 此模式即单图数字人能力|![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_e4aa1f1be7a79946a852463284ca5e87.jpg) |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_5b6ffd21dba701bdd6bf2ff67cb1a268.jpg) |\ | |* 驱动源：音频；驱动范围：嘴部| | |\ | |* 支持真人、动漫和宠物的驱动| | |\ | |* 支持原图比例输出| | |\ | |* **普通模式，支持的最长音频长度为180秒**| | |\ | |* RTF 6（真人/动漫）、RTF 11.3（宠物） | | | |单图音频驱动（灵动模式） |* 使用的是Loopy服务（属于生成式视频大模型，基于大量数据进行数字人大模型训练，在单图的基础上有更大的运动幅度和情绪化的表现。没有模版驱动的概念，运动更加随机多样性）|![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_33edbd7733e2e7763b8e700cbb4ed32e.jpg) |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_97ec36bbfb0ef3164daa8c066bb46ec2.png) |\ | |* 驱动源：音频；驱动范围：全脸| | |\ | |* 支持真人、动漫、宠物等**所有**类型图片的驱动| | |\ | |* 对原图会裁剪到固定比例1:1输出（512\*512分辨率）| | |\ | |* **灵动模式，宠物支持的最长音频长度为90秒，真人支持的最长音频长度为**180**秒**| | |\ | |* RTF 10（真人/动漫）、RTF 35（宠物） | | | |单图音频驱动（大画幅灵动模式） |* 在灵动模式的基础上，放宽了画幅限制，支持固定比例（16:9，9:16，3:4，4:3）图片的驱动，身体与脸部都会有动作|![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_731515c8b226924707dca41767e26826.jpg) |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_9eb535b83f857029bf97cc2bb0db6602.png) |\ | |* 支持使用45秒以内音频| | |\ | |* 驱动范围：全脸+膝盖以上身体| | |\ | |* 支持传入最大露出到膝盖的半身画幅| | |\ | |* 支持真人、动漫的驱动，不支持宠物| | |\ | |* RTF 27（真人/动漫） | | | ## 1.4 驱动模式场景比较 * 音频输入 * 对于说唱类音频输入，灵动模式\>普通模式，但灵动模式会有表情与音源情绪不一致的情况 * 真人图片： * 对于五官较清晰正面的单人人像，灵动模式\>普通模式 * 对于多人照片输入，普通模式支持识别其中的任意一个人脸生成效果；灵动模式最多只支持双人且会裁剪，\>2人的输入无法驱动 * 宠物图片 * 对于五官较清晰且露出完整的正脸宠物图片，灵动模式\>普通模式；灵动模式泛化性较好，支持宠物更多（如熊猫、羊驼），但均不支持鸟类 * 若宠物非正面完整头部（如趴在桌子上，戴着面具），普通模式容易出现嘴部驱动错误的badcase，灵动模式表现较好，灵动模式\>普通模式 * 对于多宠物照片输入，普通模式支持识别其中任意一个宠物生成效果；灵动模式不支持多宠物输入 * 普通模式和灵动模式支持驱动人宠（检测到哪个就驱动哪个\>\>[参考](https://www.douyin.com/video/7432511489107348774)），但不支持同时驱动人宠 * 动漫图片 * 若形象偏真人五官，灵动模式\>普通模式 * 若为明显的漫画鼻、漫画嘴，则普通模式不可驱动，或驱动效果较为微弱，灵动模式可以驱动 * 其他图片 * 若形象五官较为完整，类似宠物或人像，则普通模式容易驱动错误或嘴部模糊，灵动模式驱动效果较好，偏拟人化，灵动模式\>普通模式 * 若形象五官（没有鼻子嘴部为线状）较为抽象，则3种模式均不可驱动 ## 1.5 效果演示 |原图 |普通模式 |灵动模式 |大画幅灵动模式 | |---|---|---|---| |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_cf48da49ad4749c72a532e39e8ec140d.jpg) |

|

|

|\ | | | ||\ | | | | | |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_07aed7520d96989a6b9afae8549b246f.jpg) |

|

|

|\ | | | ||\ | | | | | |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_e2a67124cc9abd126550fa09a8e57525.jpg) |

|

|

|\ | ||||\ | | | | | |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_f0192758c017dae8041643d655c1e8f0.jpg) |

|

|

|\ | ||||\ | | | | | |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_23ee7e034efe79983fb34723bc90be96.jpeg) |

|

|

|\ | ||||\ | | | | |\ | | | | | |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_54e3437ceeda3c88f7314437e06f0b82.jpg) |

|

| |\ | ||| |\ | | | | | |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_81676d6e728a8af2d73caa050146031b.jpg) |

|

|

|\ | ||||\ | | | | | |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_8505ea930792eb808ddcaee1c2d3933b.jpg) |

|

|

|\ | ||||\ | | | | | |![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_62cf82485ce3334048aad22b66515361.jpg) |

|

|不支持驱动宠物 |\ | ||| |\ | | | | | # 2. 入参与出参说明 |入参 |图片+音频 |1. [入参图片支持规则 ](https://www.volcengine.com/docs/85128/1582650)说明|\ |---|---|---| | | |2. 入参的图片会先创建数字形象，再调用音频进行驱动，形象生成后可以使用形象ID配合不同音频重复多次使用，无需多次创建相同的形象|\ | | |3. 灵动模式，宠物支持的最长音频长度为90s，真人支持的最长音频长度为180s|\ | | |4. 普通模式，支持的最长音频长度为180s|\ | | |5. 大画幅灵动模式，仅支持真人/动漫，不支持宠物；图片尺寸比例必须为16:9，9:16，3:4，4:3；支持使用45秒以内音频|\ | | |6. 请传入完整、清晰的单人正脸图片，避免侧脸、遮挡、过曝、多人等情况|\ | | |7. 支持传入真人、动漫、宠物图片，但部分情况下可能出现无法驱动或形象生成失败的情况 | |**出参** |**图片驱动后的视频** |1. **灵动模式输出视频长宽固定为512\*512，普通模式可以保持图片原比例**|\ | | |2. **大画幅灵动模式驱动范围：全脸+膝盖以上身体**|\ | | |3. **大画幅灵动模式输出尺寸: 推理前会对输入图片进行自动裁剪得到驱动区域，输出视频的长宽由裁剪后的比例决定**|\ | | | * **如果裁剪后图宽高比为 4:3，则输出视频宽高比为 768x576**|\ | | | * **如果裁剪后图宽高比为 3:4，则输出视频宽高比为 576x768**|\ | | | * **如果裁剪后图宽高比为 16:9，则输出视频宽高比为 896x504**|\ | | | * **如果裁剪后图宽高比为 9:16，则输出视频宽高比为 504x896** | # 3. 服务开通与计费规则 ## 3.1 服务开通您需要使用火山账号登录控制台，在[视觉内容生成页面](https://console.volcengine.com/ai/ability/detail/9) 开通「[视频生成](https://console.volcengine.com/ai/ability/info/101)」能力，服务开通后可通过接口调用![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_231cf3e3c866d866c410d45cddd575db.png) ## 3.2 计费规则使用单图音频驱动，需要首先调用预处理服务，完成对图片的预处理创建出形象，再上传音频进行驱动，两个步骤均会收费，费用如下 |步骤 |单价 |备注 | |---|---|---| |形象创建费用 |0.1元/形象 |形象创建失败不收费 | |视频生成费用 |0.3元/秒 |视频生成失败不收费 | ## 3.3 欠费关停策略 * 账户可用余额不足或账户可用余额小于0被扣为负值，即为欠费。 * 账户欠费起2个小时内可正常使用服务。 * 自账户欠费起24个小时仍未能补缴所有欠费账单，视为主动放弃服务，资源将被释放且无法恢复。

智能视觉服务