Pyramid Flow 可以生成哪些类型的视频?
Pyramid Flow 目前展示的是文本到视频(Text-to-Video)生成能力,输出规格为 1280×768 分辨率、24fps,时长分为 10 秒和 5 秒两档。它适合用来生成具有电影感、动态运动和细节表现的中长片段,而不是单张图片或纯音频内容。根据项目页的定性结果,它覆盖了城市街景、公路驾驶、食物特写、人物与烟花、自然风景、航拍等题材。
输出规格一览
| 维度 | 项目页展示的规格 |
|---|---|
| 生成方式 | 文本到视频 |
| 分辨率 | 1280×768 |
| 帧率 | 24fps |
| 时长 | 10 秒 / 5 秒 |
| 训练成本 | 20.7k A100 GPU 小时,仅使用开源数据集 |
项目页展示的视频类型
城市与街景
- 雪中东京街景:镜头穿过繁华街道,跟随行人购物,强调人群与雪天氛围。
- 黄昏高速公路:汽车行驶,后视镜映出彩色日落与宁静景色。
这类提示词通常包含地点 + 天气/时间 + 镜头运动 + 人物动作,适合生成有叙事感的城市片段。
食物特写
- 鸡肉与青椒烤串在烧烤架上,带火焰、浅景深和轻烟,强调鲜艳色彩。
特写类提示词会明确写出景深(shallow focus)、烟雾、色彩等摄影语言,用来控制画面质感。
人物与氛围
- 女性侧脸,远处烟花绽放。
- 猫叫醒熟睡的主人要早餐。
- 30 岁太空人穿红色羊毛针织摩托头盔的电影预告片风格,蓝天、盐漠、35mm 胶片质感。
人物类片段往往叠加风格词(cinematic style、shot on 35mm film)来影响整体观感。
自然与航拍
- 塞纳河游船与埃菲尔铁塔,黑白画面。
- 无人机环绕阿马尔菲海岸岩石上的历史教堂,展示建筑细节与层叠步道。
- 大苏尔 Garay Point 海滩:海浪拍打崎岖悬崖,金色夕阳照亮岩石海岸。
- 航拍灯塔立于岩石悬崖,灯塔光束穿透黎明,海浪拍打岩石。
- 夜间翻涌海浪与海岸灯塔,阴天、暗色海水,营造紧张压抑氛围。
- 保加利亚小巷中的海啸,动态运动。
- 大规模爆炸场景。
航拍与自然类提示词常见**镜头运动(drone camera circles around、aerial shot)+ 光线条件(golden light、early dawn)+ 环境动态(waves crashing)**的组合。
从示例中能提炼的提示词写法
项目页的示例提示词普遍包含以下要素,可以按需组合:
- 主体:城市、汽车、烤串、女性、猫、教堂、灯塔、海浪。
- 镜头:extreme close-up、side profile shot、drone camera circles around、aerial shot。
- 光线与时间:dusk、golden light of the setting sun、early dawn、overcast sky。
- 风格:cinematic style、shot on 35mm film、black and white、vivid colours。
- 动态:camera moves through、waves crashing、dynamic movement。
例如需要生成一段“黄昏海岸灯塔”的视频,可以写成:航拍镜头环绕岩石悬崖上的灯塔,黎明光束穿透薄雾,海浪拍打岩石,阴天,电影感。这样同时覆盖主体、镜头、光线和动态,更接近项目页展示的效果类型。
使用前需要知道的限制
- 项目页只展示了文本到视频的定性结果,没有列出图生视频、视频编辑等其他任务。
- 时长只有 5 秒和 10 秒两档,分辨率固定为 1280×768、24fps,未提及更高分辨率或更长时长。
- 训练数据为开源数据集,训练成本为 20.7k A100 GPU 小时,这影响的是模型能力边界,不代表个人使用时的硬件要求。
- 项目页未提及价格、登录方式或商用授权,这些需要以实际代码仓库和模型页面为准。
如果想进一步确认能否生成某类特定视频,最直接的方式是参照项目页的提示词结构,用相同粒度描述主体、镜头、光线和动态,再对照定性结果判断风格是否匹配。