这下视频生成要进入超超超低显存时代了,迈入大众 GPU 了!马上就去实测!
【重点】
1️⃣以全 fps-30 扩散上千帧:仅需 6GB VRAM,模型仅 13B
2️⃣生成速度(4090):2.5 秒/帧(未优化)、 1.5 秒/帧(teacache)
【技术简介】
1️⃣FramePack 是一个渐进式生成视频的下一帧的预测神经网络结构;
2️⃣将输入上下文压缩为恒定长度,让生成工作量不再受视频长度的影响;
3️⃣可以使用更大的批量大小进行训练,类似于图像扩散训练的批量大小
项目页(视频来自此):https://lllyasviel.github.io/frame_pack_gitpage/
代码:https://github.com/lllyasviel/FramePack