Pyramid Flow 可以生成哪些类型的视频?

Pyramid Flow 目前展示的是文本到视频(Text-to-Video)生成能力,输出规格为 1280×768 分辨率、24fps,时长分为 10 秒和 5 秒两档。它适合用来生成具有电影感、动态运动和细节表现的中长片段,而不是单张图片或纯音频内容。根据项目页的定性结果,它覆盖了城市街景、公路驾驶、食物特写、人物与烟花、自然风景、航拍等题材。

输出规格一览

维度 项目页展示的规格
生成方式 文本到视频
分辨率 1280×768
帧率 24fps
时长 10 秒 / 5 秒
训练成本 20.7k A100 GPU 小时,仅使用开源数据集

项目页展示的视频类型

城市与街景

  • 雪中东京街景:镜头穿过繁华街道,跟随行人购物,强调人群与雪天氛围。
  • 黄昏高速公路:汽车行驶,后视镜映出彩色日落与宁静景色。

这类提示词通常包含地点 + 天气/时间 + 镜头运动 + 人物动作,适合生成有叙事感的城市片段。

食物特写

  • 鸡肉与青椒烤串在烧烤架上,带火焰、浅景深和轻烟,强调鲜艳色彩。

特写类提示词会明确写出景深(shallow focus)、烟雾、色彩等摄影语言,用来控制画面质感。

人物与氛围

  • 女性侧脸,远处烟花绽放。
  • 猫叫醒熟睡的主人要早餐。
  • 30 岁太空人穿红色羊毛针织摩托头盔的电影预告片风格,蓝天、盐漠、35mm 胶片质感。

人物类片段往往叠加风格词(cinematic style、shot on 35mm film)来影响整体观感。

自然与航拍

  • 塞纳河游船与埃菲尔铁塔,黑白画面。
  • 无人机环绕阿马尔菲海岸岩石上的历史教堂,展示建筑细节与层叠步道。
  • 大苏尔 Garay Point 海滩:海浪拍打崎岖悬崖,金色夕阳照亮岩石海岸。
  • 航拍灯塔立于岩石悬崖,灯塔光束穿透黎明,海浪拍打岩石。
  • 夜间翻涌海浪与海岸灯塔,阴天、暗色海水,营造紧张压抑氛围。
  • 保加利亚小巷中的海啸,动态运动。
  • 大规模爆炸场景。

航拍与自然类提示词常见**镜头运动(drone camera circles around、aerial shot)+ 光线条件(golden light、early dawn)+ 环境动态(waves crashing)**的组合。

从示例中能提炼的提示词写法

项目页的示例提示词普遍包含以下要素,可以按需组合:

  1. 主体:城市、汽车、烤串、女性、猫、教堂、灯塔、海浪。
  2. 镜头:extreme close-up、side profile shot、drone camera circles around、aerial shot。
  3. 光线与时间:dusk、golden light of the setting sun、early dawn、overcast sky。
  4. 风格:cinematic style、shot on 35mm film、black and white、vivid colours。
  5. 动态:camera moves through、waves crashing、dynamic movement。

例如需要生成一段“黄昏海岸灯塔”的视频,可以写成:航拍镜头环绕岩石悬崖上的灯塔,黎明光束穿透薄雾,海浪拍打岩石,阴天,电影感。这样同时覆盖主体、镜头、光线和动态,更接近项目页展示的效果类型。

使用前需要知道的限制

  • 项目页只展示了文本到视频的定性结果,没有列出图生视频、视频编辑等其他任务。
  • 时长只有 5 秒和 10 秒两档,分辨率固定为 1280×768、24fps,未提及更高分辨率或更长时长。
  • 训练数据为开源数据集,训练成本为 20.7k A100 GPU 小时,这影响的是模型能力边界,不代表个人使用时的硬件要求。
  • 项目页未提及价格、登录方式或商用授权,这些需要以实际代码仓库和模型页面为准。

如果想进一步确认能否生成某类特定视频,最直接的方式是参照项目页的提示词结构,用相同粒度描述主体、镜头、光线和动态,再对照定性结果判断风格是否匹配。

pyramid-flow.github.io
Pyramidal Flow Matching for Efficient Video Generative Modeling