6 GB 显存笔记本也能一口气生成 1 分钟 30 fps 高清视频，训练 batch 还能拉满——Stable Diffusion 时代的一幕，正在视频生成领域重演。

项目概述

FramePack 是斯坦福 Lvmin Zhang 与 Maneesh Agrawala 联合开源的“下一帧预测”架构，通过固定长度时序上下文压缩，把传统视频扩散模型“随帧数线性膨胀”的显存占用直接压成常数级。
通俗地说：无论你想生成 5 秒还是 120 秒，显存都只吃 6 GB，训练 batch 大小却能跟图像扩散模型一样任性。

问题背景

以往开源视频模型（如 SVD、AnimateDiff）想在本地跑长视频，要么显存秒天秒地，要么帧数一多就 OOM；训练更是 8×A100 起步。
“没有 24 GB 显存就告别 AI 视频”——这句潜规则把 90 % 的创作者挡在门外。

功能亮点

特性数据备注 最低显存6 GB笔记本 RTX 3060 / 4060 即可最大帧数1800+（60 s@30 fps）130 亿参数模型实测推理速度1.5 s / 帧（RTX 4090 优化后）支持 TeaCache、量化加速训练 batch可比肩 Stable Diffusion显存恒定，帧数无关抗漂移双向导航 + 反漂移采样长视频不“跑偏”GUI 一键包Win / Linux 双平台上传图片→写提示→直接出片

技术细节

1. 1. 上下文压缩（Frame Packing）
   把任意长历史帧压进固定 latent token 数，计算量与视频长度解耦，显存占用恒定。
2. 2. 渐进式生成 & 实时预览
   逐帧（或逐段）输出，生成的同时就能播放半成品，随时中断调参。
3. 3. 抗遗忘 + 抗漂移
4. • 近帧高保真、远帧压缩摘要，防止“忘了开头”；
5. • 倒序生成 + 双向参考，遏制误差累积，保证 120 s 与 5 s 画质一致。
6. 4. 训练友善
   由于显存恒定，batch size 可以直接拉到 16/32，训练成本对标图像扩散模型。

安装与使用

① 一键整合包（Windows 用户）

• • 下载发布页内的 .zip 解压即玩，内置 Gradio 界面；
• • 启动 run.exe → 浏览器打开 127.0.0.1:7860 → 上传图片 + 写提示词 → 点击 Generate。

② 手动安装（Linux / 开发版）

    
    
    
  # Python≥3.10
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
git clone https://github.com/lllyasviel/FramePack.git
cd FramePack
pip install -r requirements.txt
python demo_gradio.py

支持 PyTorch / xFormers / flash-attn / sage-attention 多后端，可按需加速。

应用案例

• • 个人 Vlog 片头：静态封面图 → 10 s 动态片头，全程本地完成；
• • 剧情长镜头：输入关键帧 + 一句剧本，自动生成 60 s 一镜到底；
• • 风格化动画：油画、像素、二次元风格连续变换，人物一致性依旧在线；
• • 商业广告：手持产品图 → 让产品“自己转起来”，省去拍摄与建模成本。