本文介绍 Seedance-1.0-pro 文生视频和图生视频的提示词(prompt)使用技巧,帮助您快速上手视频创作,将创意转化为视频内容。
Seedance 1.0 是字节跳动豆包大模型团队最新推出的视频生成基础模型系列。Seedance 1.0 pro 作为该模型系列的大参数量版本,具备独特的多镜头叙事能力,在各维度表现出色。它在语义理解与指令遵循能力上取得突破,能生成运动流畅、细节丰富、风格多样且具备影视级美感的 1080P 高清视频。
创建视频生成任务 API 中,跟提示词有关的参数如下:
content.text:输入给模型的文本内容,描述期望生成的视频,包括:
简写 rs
:分辨率简写 dur
:生成视频时长(秒)简写 cf
:是否固定摄像头{ "model": "doubao-seedance-1-0-lite-i2v-250428", "content": [ { "type": "text", "text": "女孩抱着狐狸,女孩睁开眼,温柔地看向镜头,狐狸友善地抱着,镜头缓缓拉出,女孩的头发被风吹动 --rs 720p --dur 5 --cf false" }, { "type": "image_url", "image_url": { "url": "https://ark-project.tos-cn-beijing.volces.com/doc_image/i2v_foxrgirl.png" } } ] }
主体+动作
视频生成示例 | |
---|---|
t2v:小猫对着镜头打哈欠。 | t2v:女子走在夜晚的上海街头。 |
i2v:男子转头,看向镜头微笑。 | i2v:稳重冷漠地男孩看向镜头,放下耳麦。然后跳下轮胎走向镜头蹲下。 |
按照动作发生的时序,清晰描述出多个动作,实现单人物多动作/多人物多动作。
视频生成示例 | ||
---|---|---|
单人物多动作 i2v:女子拿起面前的酒杯,喝了一口后放下,然后起身离开座位。 | 多人物多动作 t2v:一个摇滚乐队的演出现场,主唱拿着麦克风在台上唱歌,吉他手在卖力弹吉他,贝斯手弹贝斯,鼓手在摇头晃脑的在敲鼓,键盘手在弹钢琴。 | 多人物多动作 t2v:办公室茶水间,同事们在休息聊天。同事 A 分享周末趣事,手舞足蹈。同事 B 笑得前仰后合,同事 C 好奇地追问细节。其他人围在周围,不时插上几句。 |
精准响应推、拉、摇、移、环绕、跟随、升、降、变焦等运镜指令。
视频生成示例 | ||
---|---|---|
推 i2v:镜头快速前推到小女孩的近景,她背对着镜头缓缓抬头仰视面前的建筑。 | 拉 i2v:镜头快速拉远,露出女子上半身,她微微转头目光看向画面右侧,背景是一个繁华的街头。 | 摇 t2v:一个时装发布会的现场,镜头右摇侧面拍摄一个衣着华丽的模特在走秀。 |
移 i2v:镜头右移展示长城的雄伟壮丽,微缩摄影,由布料拼接而成的长城。 | 环绕 i2v:镜头环绕拍摄,从女人的背面到正面,她十分美丽,抬手捂嘴,羞涩微笑。 | 跟随 i2v:狮子在飞翔,镜头跟随飞翔的狮子。 |
移 i2v:镜头右移,画面右侧的女人正与他深情对视。 | 升 i2v:镜头逐渐升起,露出登山者的背影。 | 变焦 t2v:法庭上,法官即将宣布审判结果。变焦镜头下,镜头推近被告紧张的面容,背景中的法庭和众人逐渐拉远,空间被压缩,突出被告等待判决时的煎熬,营造出严肃且紧张的氛围,让观众的情绪也随之紧绷。 |
对于进阶玩家,可以将多个运镜指令进行组合构建出有创意的长镜头。
视频生成示例 | |
---|---|
t2v:一个小女孩在客厅地毯上和她的小狗玩耍。镜头从地面与小狗视平线的角度开始,小狗欢快地跑向女孩,镜头平稳地跟随小狗,并在接近女孩时向上摇摄,展现女孩温柔的笑容;女孩和小狗嬉戏时,镜头围绕他们做一个缓慢的近距离360度旋转,最后在女孩抱起小狗时,镜头从下往上逐渐拉近,定格在他们亲密的脸庞。充满温馨和爱意,画面柔和。 | t2v:一位女性手持咖啡杯,静立于明亮的窗前。镜头从她身后开始,缓缓向前推进并从她右肩上方掠过,细腻捕捉杯中咖啡的热气与她沉静的侧脸轮廓;随后镜头不停歇,继续向前穿过窗户(或模拟穿透效果),展现窗外街景一瞥,再流畅地旋转180度重新面向室内,从窗外视角反观女性背影,最后缓慢拉远。一镜到底,突出光影之美与空间感。 |
可以使用远景、全景、中景、近景、特写这样的专业景别描述来控制。还可以选择具体的观察角度:水下镜头,航拍镜头,高机位俯拍,低机位仰拍,微距摄影,以xx为前景的镜头等
视频生成示例 | |
---|---|
t2v:微距摄影,一只毛毛虫在花瓣上爬行,可以清晰看见它身上的毛。 | t2v:广阔的沙漠中,一队骆驼商队缓缓前行。高空航拍俯瞰,沙漠的广袤与商队的渺小形成对比,尽显旅途的艰辛。 |
t2v: 客厅中,父亲教儿子下棋。过肩镜头越过父亲肩膀,看到儿子思考的神情和棋盘上的棋局,传递着亲子间的温馨陪伴。 | t2v:透过一个箱子拍摄,有两个人正在看箱子的里面。其中一个人伸手进箱子抱出一只小奶猫。 |
具有直出多种风格的能力,包含2D/3D,以及更细分的体素,像素,毛毡,粘土,插画等。
视频生成示例 | ||
---|---|---|
t2v:黑白线稿风格,一个黑白线稿女孩向右行走,背景是线稿森林。 | t2v:一只可爱的毛毡小猫走在粘土做成的街道上 | t2v:3D动画,一只拟人的马坐在教室里上课 |
t2v:日本漫画,一个带墨镜的美女在东京街头自拍 | t2v:体素风格,一个机器人坐在火箭上 | t2v:美漫风格,一个肌肉男在举重 |
可以发挥想象,精细刻画出人物/场景/衣着的细节,生成各种不同长相特征的角色。
视频生成示例 | ||
---|---|---|
t2v:一个美貌的女人穿着一身优雅的黑色旗袍,坐在西式客厅里抽烟。 | t2v:一个其貌不扬的女人穿着一身黑色旗袍,坐在西式客厅里抽烟。 | t2v:那个脸型微胖的年轻女人盯着摄像头,她有着一双三白眼,眼角边有一颗痣,皮肤粗糙。脸上是红光和蓝光。 |
t2v:一个发型凌乱的男人在吃鸡腿,背景是家徒四壁的房间 | t2v:美颜滤镜,磨皮感,一个女孩在自拍,她对着镜头比耶。 | t2v:一个300斤的白人男性窝在沙发上看电视,电视反射过来的光线在他脸上波动。 |
精细化描述画面,用自然语言写出画面的氛围特征,可以控制画面整体的美感。
视频生成示例 | |
---|---|
t2v:男子和女子的手拉在一起。喜庆的土味短视频。 | t2v:男子和女子的手拉在一起。欧洲文艺电影。 |
t2v:男子和女子的手拉在一起。复古香港电影。 | 男子和女子的手拉在一起。恐怖片。 |
视频生成示例 | |
---|---|
t2v:油画般的电影场景,在英国乡村,一个金发的穿着针织毛衣的女人和一个英俊的男人深情对视 | t2v:有质感的老电影,复古氛围,一个街头音乐人在夜晚酒吧的霓虹灯下沉醉得拉小提琴。 |
t2v:略显古早,妆造廉价的80年代电视剧,一个男人在台灯下写作 | t2v:花园的叶子上,住着一群小精灵。镜头右摇,主角从家里走出,主角身着花瓣斗篷、手持草叶魔杖,魔杖顶端嵌着一个发光的黄色宝石,微观世界风格。 |
支持在同一prompt里包含多个切镜,这些切镜会根据提示词的内容,保持主体/风格/场景的延续性。镜头的变化,通过“镜头切换”来进行连接,在每次切镜之后,如果场景和人物发生了变化,可以用prompt刻画新出现的人物/场景的特征。
视频生成示例 | ||
---|---|---|
t2v:美漫风格2D动画,中近景拍摄一位年轻帅气的白人男子,男人松开手,伸了个懒腰打了个哈欠。 | i2v:船在风暴中穿行,闪电不断的划破夜空。切换成中景,一个船长站在甲板上,拿着复古的望远镜看向远方。镜头缓缓前推,他收起望远镜,表情坚毅的看向远方。 | t2v:推到红发女孩惊讶的表情特写,镜头切到废墟中的一个窗台上的花盆,里面种着一个蓝色的多肉植物,镜头切到俯瞰,女孩走向这个多肉植物,切过多肉植物前景女孩双眼特写,摇到女孩的嘴,碎碎念出植物的名字。 |
t2v:在破旧的工厂里,一位侦探正在调查一宗离奇案件。开始以低机位仰拍,凸显侦探高大坚定的形象,他缓缓走进工厂深处。接着镜头平移跟随,切换为平机位,展示周围杂乱的机器和散落的零件。随后镜头推近,变为微俯平机位,聚焦在地上一个带血的脚印,营造紧张悬疑的氛围。 | t2v:科幻电影的奇特场景,全景画面,一个未来实验室内,画面核心有一个量子计算机,周边有一个科学家对着全息投影屏幕不断操作着。镜头切换成量子计算机的特写,量子计算机突然爆发出红色的光芒。然后镜头再次切换到科学家的脸,近景仰拍,红色的光晕照射在他的脸上,他表情开始变得慌张。 |
模型本身即可实现多种特效,发挥想象可以实现许多有意思的效果。
视频生成示例 | ||
---|---|---|
t2v:自由女神像在纽约港夜晚的灯光下,底座突然喷出巨大火焰和烟雾,像火箭一样缓缓升空。火焰照亮夜空,气流冲击周围建筑和海面。镜头跟随她加速上升,划出明亮的火焰轨迹。 | t2v:圆滚滚的牛蛙瘫在粉色按摩椅上,鼓胀的肚皮随着呼吸起伏,手惬意地耷拉在扶手上。一旁的长毛白猫踮着脚尖,肉垫轻轻揉捏着牛蛙紧绷的肩膀,娴熟的踩奶动作仿佛是最专业的按摩技师。 | t2v:一个倒在古墓青砖地上已经只剩骨头架的盗墓贼趴在地上,他的两只枯骨手拖着骷髅骨架艰难的一下一下向前爬着,骷髅头笑盈盈。墓室香暗,有烛光照在骷髅脸上,地上散落着碎硫璃瓦、碎青花碗、还有生锈的古钱币。 |
i2v:男孩放下书,解开衣服露出蜘蛛侠紧身衣,戴上蜘蛛侠面具,向画外射出粘液,快速向镜头上方快飞出画 | i2v:天气很热,男孩冒出大量汗珠,冒着白烟,男孩融化着流出画面。 | i2v:男孩生气了,鼓起了嘴,逐渐地全身开始鼓起,男孩全身爆炸,飞出很多零件。 |
i2v:男孩看着书,看着看着就老啦。脸颊越来越下垂,皮肤毛孔越来越明显,长出了鬓角和胡子,变成了沧桑大叔。画面也逐渐变成颗粒度明显地黑白风格 | i2v:男孩盯着镜头瞬间恋爱了,脸颊绯红,空气中飘起了半透明地粉红色泡泡,气氛变得暧昧,男孩害羞地用书挡住了脸。书皮上画了个心 | i2v:狂风暴雨大作。男孩瞪大眼睛盯着书,突然很疑惑不接,很快豁然开朗。同时一束闪电劈中男孩。被雷劈中时男孩全身就像被烧过,夸张的爆炸头,冒烟。一脸焦炭的全身脏脏男孩无辜地抬头看镜头 |
Seedance 1.0 pro 支持输出的视频比例有:1:1,3:4,4:3,16:9,9:16,21:9。
i2v建议用这些比例的图片作为参考帧,假如不是这些比例的话,自动匹配会通过裁切来适配最接近的比例。