本文介绍 Seedance-1.0-lite 文生视频和图生视频的提示词(prompt)使用技巧,帮助您快速上手视频创作,将创意转化为视频内容。
Seedance 1.0 是字节跳动豆包大模型团队最新推出的视频生成基础模型系列。Seedance 1.0 lite 作为该模型系列的小参数量版本,在取得出色的视频生成质量的同时,显著提升了生成速度,是兼顾效果与效率的性价比之选。
创建视频生成任务 API 中,跟提示词有关的参数如下:
content.text:输入给模型的文本内容,描述期望生成的视频,包括:
简写 rs
:分辨率简写 dur
:生成视频时长(秒)简写 cf
:是否固定摄像头{ "model": "doubao-seedance-1-0-lite-i2v-250428", "content": [ { "type": "text", "text": "女孩抱着狐狸,女孩睁开眼,温柔地看向镜头,狐狸友善地抱着,镜头缓缓拉出,女孩的头发被风吹动 --rs 720p --dur 5 --cf false" }, { "type": "image_url", "image_url": { "url": "https://ark-project.tos-cn-beijing.volces.com/doc_image/i2v_foxrgirl.png" } } ] }
说明
提示词 = 主体 + 运动, 背景 + 运动,镜头 + 运动 ...
输入参数 | 中间结果(不显示) | 生成视频(单主体+单动作) |
---|---|---|
|
|
模型对多拍动作质量有着强响应,支持时序性的多个连续动作,以及多个主体的不同动作。可以尝试写:
说明
提示词 = 主体1 + 运动1 + 运动2
提示词 = 主体1 + 运动1 + 主体2 + 运动2 ...
依次列举即可,模型会根据我们的表达与对图像画面的理解进行提示词扩写,生成符合预期的视频。
输入参数 | 生成视频 |
---|---|
| |
| |
| |
| |
|
包括镜头切换
可以在提示词中使用自然语言描述你想要的镜头变化,支持环绕、航拍、变焦、平移、跟随、手持等运镜,以及镜头切换。镜头语言响应是seedance 1.0的强项。
运镜 | 提示词 | 输入参数 | 生成视频 |
---|---|---|---|
镜头切换 | 镜头切换 |
| |
| |||
| |||
平移 | 镜头向上/下/左/右移动 |
| |
prompt:神庙的深处,一个背着背包的男人找到了一位古代智者的雕像。镜头向左移动,雕像手中握着一本古老的书籍,似乎在守护着某种重要的知识。 | |||
变焦 | 镜头拉远 |
| |
| |||
环绕 | 镜头环绕360度展示 |
| |
| |||
航拍 | 航拍 |
| |
手持 | 手持镜头 | prompt:手持镜头,画面微微抖动体现手持感,跟随在一只在玫瑰花园中散步的猫身侧 | |
跟随 | 镜头跟随 |
|
如果想要在视频中突出动作频率与强度,或者主体的特征,合理使用程度副词。
说明
程度提示词:快速 剧烈 大幅度 高频率 强力 疯狂 ...
输入参数 | 生成视频 |
---|---|
| |
|
说明
提示词 = 主体 + 运动 + 场景 + 镜头、风格...
T2V | ||
---|---|---|
Prompt:具有设计感的人像摄影,迷幻清冷的淡蓝色调,蝴蝶光,近景拍摄一位年轻的白人女性。她有着高层次的黑色短发,右边的眉毛上挑,睫毛浓密,鼻梁高挺,咬着红唇,表情不屑地瞪着镜头。镜头后拉,前景是破碎的玻璃在空中,它挡住了女子的部分面部。 | Prompt:中近景拍摄一位留着凌乱的黑色短发的年轻男子在夜晚吃鸡腿。他看起来有些狼狈,脸脏脏的,肿眼泡,下颌圆润,鼻子上有几颗黑痣,有些许胡渣,牙齿有些泛黄,眼睛看向画面左侧,有些失神,身着蓝灰色的破旧风衣,袖口和衣服上沾着许多脏污。男子拿着鸡腿靠近嘴边,咬了一口鸡腿,随后直勾勾的看着前方,露出猥琐的笑容。手指和手心都有污渍。背景是虚化的城市夜晚景象,有黄蓝色的灯光 | 清冷的色调,雪花飘落的冬天山谷中,近景拍摄一位明艳动人的年轻白人美女侧身扭头看向镜头。她有着黑色的波浪卷长发,下巴尖尖的,眉毛浓密上挑,眼窝深邃,眼瞳是红色的,化着深色眼影和上挑的眼线,鼻梁挺直,嘴唇偏厚,涂着非常鲜艳的红唇,下颌线清晰,指甲非常长,做着红色美甲。女子身着一件黑袍,戴着帽子将眉毛遮住,领口微敞着锁骨清晰,眼睛盯着镜头,眼神十分勾人。背景是覆盖着厚雪的绿色植被,雪花在空中飘落。镜头向左微微环绕女人拍摄,女人抬起右手放在下巴上,看着镜头露出妩媚的笑容。 |
视频生成示例 | ||
---|---|---|
国漫 | 水墨 | 水彩 |
日漫 | 美漫 | 剪纸 |
体素 | 毛毡 | 线稿 |
模型有一定肢体崩坏的概率,可以多试几次抽卡选择效果好的视频,或者通过prompt避开展示手/脚部的镜头。
问题案例
输入图片 | 原始 prompt 与视频效果 |
---|---|
大幅度运动,仰拍,镜头缓慢跟随,旋转绕行,在暴风雪笼罩的冰川上空,一只巨大的冰霜丧尸骸骨龙在风雪中展翅飞翔,展开巨大的腐烂的骸骨双翼,身体散发出幽蓝的光芒,蓝色的能量从它的身体和翅膀上流动,风雪在它周围狂卷,压迫感,震撼,恢弘大气,氛围光照 |
问题分析
prompt中太多描述是参考图已有的信息,模糊了重点。需要删除不必要的内容,并强调重要的程度副词。
优化后效果
输入图片 | 优化后 prompt 与视频效果 |
---|---|
一只龙快速的拍动翅膀,翅膀运动的幅度很大。仰拍,镜头旋转绕行。压迫感 |
问题案例
输入图片 | 原始 prompt 与视频效果 |
---|---|
画面中的男孩带着耳机陶醉地欣赏音乐,头随着音乐微微摆动,镜头拉近画面中模特带着耳机的耳朵,展示耳机的舒适。 |
问题分析
prompt看起来没有问题,但眼神有点怪。需在prompt中重新强调眼神。
优化后效果
输入图片 | 优化后 prompt 与视频效果 |
---|---|
画面中的男孩带着耳机陶醉地欣赏音乐,他眼神自然,头随着音乐微微摆动,镜头拉近画面中模特带着耳机的耳朵,展示耳机的舒适 |