图生成视频技术全景

01. “图生视频”并不是一个单一任务

输入图片可能是强约束的首帧，也可能只是人物、商品、场景或风格的参考。不同任务的条件强度和适用模型并不相同。

02. 六条主要技术路线

当前通用能力最强的是扩散 / 流匹配路线；2.5D、光流、专用驱动和关键帧插值并未消失，而是作为更稳定、更便宜或更可控的补充。

03. 主流模型内部架构

Video DiT 的常见时序建模方式

• 空间—时间分解注意力：分别计算空间和时间关系，成本较低。
• 完整时空注意力：所有 token 共同建模，一致性强但计算昂贵。
• 局部窗口 / 稀疏注意力：控制长视频的上下文成本。
• 因果或分段注意力：允许按片段继续生成，适合长视频和实时交互。
• 多专家架构：让不同专家处理不同噪声阶段、模态或生成任务。

04. 训练技术详解：模型怎样真正学会“让图片动起来”

图生视频训练不是把若干视频直接喂给模型这么简单。它通常由数据工程、Video VAE、图像预训练、视频预训练、I2V 条件训练、高质量微调、偏好对齐和推理蒸馏组成。训练目标同时拉扯三个方向：首帧要像原图、后续帧要有合理运动、整段视频要符合文字与物理常识。

4.1 训练数据流水线

典型模型会先利用大规模图片学习外观和语义，再用视频数据学习时间、运动和物理先验，最后在精选数据上微调画质、镜头语言和提示词遵循。偏好优化和 VLM 奖励正逐渐进入视频模型的后训练阶段。

4.2 完整训练栈：六个相互依赖的阶段

4.3 数据工程：训练上限首先由数据决定

4.4 Video VAE：先决定主模型能够“看见”什么

Video VAE 将像素视频 x 压缩成 latent z，DiT 实际上只在 z 上学习。它通常同时做空间和时间压缩，并采用因果或分块 3D 卷积。压缩率越高，主模型越便宜；但小字、手指、细线、快速运动和高频纹理也越可能在进入 DiT 之前永久丢失。

4.5 主干模型学什么：扩散与流匹配

两类方法都把真实 latent 与随机噪声连接起来，让网络学习“从当前噪声状态往视频数据方向走”。差异主要在路径定义、预测目标和采样器。

一次典型 I2V 训练迭代

1. 采样视频从对应 bucket 取连续片段及稠密文字描述。
2. 编码目标冻结的 Video VAE 把全部帧编码为干净 latent z₀。
3. 构造图片条件取首帧或随机关键帧，得到首帧 latent、语义 token 和 mask。
4. 采样时间与噪声采样 t 与高斯噪声 ε，构造 zₜ。
5. 随机丢弃条件独立或联合丢弃文字、图片，训练无条件分支并防止依赖过强。
6. DiT 前向时空 token 经过自注意力、文本 cross-attention 与图像条件模块。
7. 计算损失对噪声、速度或 z₀ 做加权 MSE，可叠加首帧、感知和一致性损失。
8. 更新参数混合精度反传、梯度裁剪、分布式同步，并维护 EMA 权重。

4.6 I2V 条件注入：既保身份，又不锁死运动

实际训练常把 T2V 与 I2V 放进同一模型：无图片时使用空图像条件，有图片时启用首帧通道。混合训练能保留文生视频的运动多样性，也能减少专用 I2V 模型对静态复制的过拟合。

4.7 课程训练：先学“是什么”，再学“怎么动”

阶段切换不能只看“训练了多少步”。更可靠的做法是用固定验证集追踪四条曲线：外观质量、时间一致性、动态程度、条件遵循。如果高清微调只提升锐度却持续降低动态程度，说明数据或首帧条件过强，应先纠正采样配比。

4.8 大规模训练工程

4.9 高质量微调、偏好对齐与领域适配

视频偏好不应只给一个总分。最好把主体一致性、动作幅度、物理合理性、镜头稳定、清晰度和文字遵循分别标注，并保留“画质更好但动作更差”这类冲突样本。否则奖励模型很容易学会“少动就少出错”。

4.10 蒸馏与推理效率

• 高压缩 Video VAE，减少时空 token 数；
• 少步蒸馏和 Consistency / Lightning 类采样；
• 量化、算子融合、Flash Attention 和序列并行；
• 缓存相邻去噪步骤中变化较小的特征；
• 粗分辨率生成，再做空间和时间超分；
• 按片段生成并压缩历史上下文。

4.11 训练监控与消融：不要只盯总 loss

05. 可控生成：从“描述”走向“导演”

文字很难精确表达“第 2 秒抬手，第 4 秒转身，同时镜头向左环绕”。因此，可控生成正在从自然语言扩展到结构化条件。

Motion-I2V 通过显式预测像素轨迹，再沿轨迹传播原图特征；DragAnything 使用拖拽轨迹控制多个实体；MotionCtrl 则将相机运动与物体运动分开建模。这类方法代表了从“继续堆提示词”向“可操作控制信号”的转变。

06. 动作迁移任务详解

动作迁移（Motion Transfer / Character Animation）的标准输入是一张目标角色参考图和一段驱动视频，输出是“由目标角色完成驱动视频动作”的新视频。它要求模型把两类信息拆开：外观来自参考图，动作与节奏来自驱动视频。

6.1 动作迁移内部还包含六类任务

严格来说，“音频驱动”是动作生成而不是视频到视频的动作迁移，但两者在产品上经常被统一为角色动画：参考图负责外观，音频或视频负责表演。

6.2 一条典型的技术流水线

1. 预处理：检测人物、脸、手、分割区域、相机变化，并从驱动视频提取姿态或隐式运动特征。
2. 外观编码：从参考图提取身份、服装、发型、体型和高频纹理，多参考图系统还会建立主体特征库。
3. 运动重定向：把驱动者的动作映射到目标角色坐标系，处理身高、四肢长度、头身比和画幅差异。
4. 时空生成：将外观与运动条件注入视频 U-Net 或 Video DiT，联合生成连续帧。
5. 局部增强：对脸、眼睛、嘴型和手部使用更高分辨率特征、区域损失或专门分支。
6. 合成与重光照：角色替换模式还要保留背景、阴影、遮挡关系，并使新角色适应原场景色温和亮度。

6.3 运动究竟如何表示

技术趋势正从“所有部位共用一张骨架图”转向分而治之：身体需要全局结构稳定，脸部需要高频表情，手部需要局部关节细节。Kling-MotionControl 即采用身体、脸和手的异构运动表示；IM-Animation 则把每帧动作压缩成紧凑的一维运动 token，减少空间比例错位和驱动者身份泄漏。

6.4 外观保持与运动注入

6.5 模型如何获得训练数据

最常见的训练方式是从同一段人物视频取一帧作为“参考图”，其余帧作为目标视频，再由姿态或视频特征提供驱动。这种自重建数据量大、无需人工配对，但也带来一个问题：参考人物和驱动人物本来就是同一身份，模型可能偷看驱动视频的脸和服装，而没有真正学会跨身份动作迁移。

• 身份无关瓶颈：只允许运动分支传递姿态或压缩运动 token，阻断纹理和身份信息。
• 条件随机丢弃：随机移除部分姿态、音频或视频条件，使模型兼容不同驱动强度。
• 跨身份或合成配对：构造同一动作对应不同角色的数据，直接训练“动作相同、身份不同”。
• 分阶段训练：先学外观重建，再学逐帧姿态，最后训练时间模块和整体 DiT。
• 区域加权：对脸、手和高置信度关节点放大损失，缓解关键区域模糊。
• 混合条件扩容：将音频、视频、姿态等不同强弱条件混合训练，利用更多不完全标注的视频。

6.6 代表性技术节点

6.7 为什么动作迁移仍然会失败

6.8 评测不能只看“像不像一段真视频”

• 身份保持：ArcFace、DINO/CLIP 相似度，以及服装和配饰区域的一致性。
• 动作遵循：关键点误差、PCK、3D MPJPE、轨迹/光流误差和动作节奏对齐。
• 表情与口型：面部关键点、表情系数、SyncNet 类音画同步指标。
• 时间质量：FVD、闪烁、光流一致性和跨片段边界突变。
• 局部质量：脸、手、脚、饰品以及人与物接触区域单独评测。
• 人类评测：分开询问“角色像不像”“动作像不像”“是否自然”，避免单一总体分掩盖问题。

6.9 实际选型与素材准备

1. 参考图最好完整显示要运动的身体区域，分辨率足够、轮廓清楚，避免手脚被裁掉。
2. 参考图初始姿势应尽量接近驱动视频第一帧，否则开头容易突然变形。
3. 驱动视频尽量单镜头、少剪切、少遮挡；快速旋转、地面动作和多人接触应拆段处理。
4. 角色与驱动者的画幅占比、朝向和头身比越接近，迁移通常越稳定。
5. 需要保留原背景时应明确选择“角色替换”而不是“角色动画”，并提供蒙版或背景条件。
6. 商业和公开使用前确认参考人物、声音和动作视频的授权，并对生成内容进行来源标记。

07. 最核心的矛盾：原图一致性 × 运动幅度

CVPR 2026 的研究显示，在一个控制实验中，从 T2V 转成 I2V 后，动态程度下降约 18.6%。原因之一是原图的高频细节过早锁死生成路径。自适应低通条件在早期阶段弱化高频约束、后期再恢复细节，可在一定程度上改善这个矛盾。

08. 技术演进脉络

09. 2026 年代表性系统

下表用于展示技术方向，不是统一排行榜。闭源模型公开信息有限，厂商内部测试集和营销样片无法直接横向比较。

10. 长视频、流式生成与实时化

一次性让所有帧参与完整时空注意力，计算和显存会迅速增长。当前解决方法包括滑动窗口、分段生成、历史帧压缩、因果注意力、历史引导和自回归式视频扩散。

11. 怎样完整评测图生视频

1. 原图保持脸、服装、商品、背景、构图和画风是否延续。
2. 时间一致性闪烁、结构突变、主体漂移和细节跳变。
3. 运动质量运动幅度、平滑度、完整性和自然程度。
4. 控制遵循提示词、轨迹、姿态、相机和起止帧是否准确。
5. 物理与常识重力、碰撞、遮挡、数量、空间和因果关系。
6. 视觉质量清晰度、纹理、噪声、压缩和美学。
7. 音画质量口型、对白、环境声、节奏和画面事件同步。
8. 生产指标首轮可用率、重试次数、时延和每个可用镜头成本。

VBench 将视频质量拆为主体一致性、动态程度、运动平滑度、闪烁和美学等多个维度，并在 VBench++ 中适配 I2V。传统 FVD 不适合作为唯一指标：它对部分时间失真不敏感，并且需要较大样本才能稳定估计。

12. 工程与业务选型建议

更稳定的生产工作流

1. 先设计主体、场景和风格参考图，保持画幅一致；
2. 一个镜头只安排一个主要动作和一个明确运镜；
3. I2V 提示词重点描述“接下来发生什么”，少重复图片已有内容；
4. 需要明确落点时使用尾帧或关键帧，不靠长篇文字硬控；
5. 一次生成多候选，以“可用率”而不是最好样片评估模型；
6. 文字、Logo、商品标签、复杂特效和精确节奏留给后期；
7. 长片拆成短镜头，并维护角色、道具和场景参考资产库。

13. 未解决问题与未来趋势

14. 代表性论文与官方资料

1. Image-to-Video Diffusion: From Foundations to Open Frontiers — 2026 年图生视频专项综述。
2. Video Diffusion Models — 将图像扩散系统化扩展到视频。
3. Stable Video Diffusion — 图像预训练、视频预训练、精选视频微调及系统化数据过滤。
4. VideoCrafter2 — 用低质量视频学习运动、用高质量图像改善空间质量的解耦训练。
5. STIV — 统一 T2V/I2V、首帧替换、图文联合 CFG 与图像条件丢弃。
6. Conditional Image Leakage — 研究 I2V 静态偏差及随时间步调整条件噪声的方法。
7. CV-VAE — 视频 VAE 的重建、感知、对抗与 KL 训练设计。
8. DynamiCrafter — 语义上下文与完整图像 latent 双路注入。
9. CogVideoX — 3D VAE 与视频 Diffusion Transformer。
10. Wan — 开放大规模视频生成框架。
11. HunyuanVideo — 大规模视频生成的系统化框架。
12. LTX-Video — 高压缩 latent 与快速视频生成。
13. Classifier-Free Diffusion Guidance — 通过条件丢弃联合训练条件与无条件预测。
14. VideoDPO — 视频生成的多维偏好对齐。
15. Systematic Post-Training for Video Generation — SFT、视频强化学习、提示词增强与推理优化的系统化后训练框架。
16. Motion-I2V — 显式运动场与轨迹控制。
17. DragAnything — 基于实体表示的拖拽运动控制。
18. MotionCtrl — 相机运动与对象运动解耦控制。
19. Animate Anyone — ReferenceNet、姿态引导和时间建模的经典角色动画框架。
20. MagicAnimate — 外观保持与时序一致的人体动作迁移。
21. MimicMotion — 置信度感知姿态引导、手部增强和长视频 latent 融合。
22. LivePortrait — 隐式关键点、拼接与眼嘴重定向的高效肖像动画。
23. OmniHuman-1 — 通过混合运动条件扩展音频及视频驱动的人体动画。
24. Wan-Animate — 统一角色动画、角色替换和场景重光照。
25. Kling-MotionControl — 身体、脸部与手部多粒度运动协同。
26. IM-Animation — 身份解耦的紧凑隐式运动表示。
27. OmniHuman-1.5 — 多模态规划与 DiT 结合的长时音频驱动角色动画。
28. Gait Biometric Fidelity Study — 说明视觉逼真不等同于保留精确的个体运动特征。
29. FramePack — 固定长度历史上下文与长视频生成。
30. History-Guided Video Diffusion — 可变历史条件与 Diffusion Forcing。
31. VBench / VBench++ — 多维视频生成评测体系。
32. Beyond FVD — 对 FVD 局限的系统分析。
33. Adaptive Low-Pass Guidance — I2V 静态偏差与动态增强研究。
34. Veo 3.1 官方文档、Wan 2.2 官方仓库、LTX-2 官方仓库。