AI 视频越来越逼真,生成它的算力却并不便宜。复杂的动作、连贯的镜头和细腻的画面,背后都需要大量计算。一旦进入批量制作,反复生成、修改和重试的开销便会累积,成为创作者与视频平台必须考虑的成本。
Agnes 开源的音视频生成模型 Agnes-Video-2.0-MoE 正是一次针对推理效率的技术探索:单张 H200 GPU 约 30 秒生成 5 秒视频,推理速度较稠密(Dense)模型提升约 20%,较同类 MoE 模型快 2 倍以上。
其做法是把 Dense 模型改造成 MoE 将容量做大,再以专家剪枝把实际计算做小。这为视频生成走向规模化生产趟出了一条降本的新路。
(MoE 模型案例)
已有 Dense 模型的 MoE 化改造
要让视频表现更复杂的场景、动作和时序关系,模型需要更大的学习与表达容量。但如果只是把原有模型做大,通常也会增加每次生成视频所需的计算量。Agnes 选择从已有模型入手,通过 MoE 改造,探索扩大容量与控制计算规模的另一种路径。
MoE,也就是混合专家架构。可以把其中的“专家”理解为模型内部可供选择的处理网络:由路由机制将待处理的信息分配给不同专家,让模型在扩大容量的同时,控制实际计算规模。
在 Agnes 的研究中,团队以约 153 亿参数的 DaVinci-MagiHuman 预训练音视频生成模型为基础。这是一个 Dense 模型。改造前,模型中的相关计算模块各只有一个网络,负责处理分配给它的信息。
研究团队保留模型的大部分结构,把 40 层网络中间 32 层的部分计算模块,各自扩展成包含三个专家网络的模块。三个专家各有自己的参数,可以在训练中形成不同的处理方式,为学习场景、运动规律和时序关系提供更大的空间。处理信息时,路由机制只从三个专家中选择一个参与计算。这就像一家诊所把一位全科医生扩充成三位各有所长的专科医生,诊所整体的“潜力”由此变大。
对比来看,改造后的模型每次计算实际调用的激活参数量,仍与改造前的约 153 亿相当,而总参数量达到约 287 亿。
这为已有 Dense 模型的架构转换与后续优化提供了参考路径。
想要开发视频创作工具和平台的团队,可以参考 Agnes 的做法,利用已经训练好的网络建立专家,保留原有模型基础,再通过训练适配完成改造,而不必从头训练一套新模型。之后随着专家分工与路由机制进一步优化,类似的 MoE 改造,还有潜力支持更长、更复杂、更多样的视频生成。
Agnes 技术人员给出的一组性能数据,直观说明了这一思路的价值:基于这一路线打造的 Agnes-Video-2.0-MoE,在单张 H200 GPU 上,仅需约 30 秒即可生成一段 5 秒视频;相比 Dense 模型,其推理速度提升约 20%,相比同类 MoE 视频模型,则快两倍以上。
不过这种效果并非单靠 MoE 改造。改造后,每个专家仍与原来的网络一样大,路由选择还会带来额外开销。Agnes 的下一步,是通过 EENP 精简专家内部的计算,由此带来生成质量、计算效率与推理成本之间更好的平衡。
用“剪枝”继续削减计算开销
所谓 EENP,即弹性专家神经元剪枝方法。
“剪枝”借用了修剪树枝的比喻,可以把它理解为对专家网络做一次精简:评估内部神经元对模型输出的贡献,保留重要的部分,移除贡献较小的部分,从而缩小实际参与运算的网络。
这里的难点在于,音视频模型同时处理画面、声音和文字。这些信息的数量和特征差别很大,视频信息的量往往远多于音频和文字。如果混在一起判断、处理,声音和文字的需求就可能被忽略。就像一场投票里某个群体人数占绝对多数,结果几乎只反映这个群体的意见。
EENP 先分别评估专家内部计算通道对视频、音频和文字处理的贡献,再统一尺度、按权重合并结果,据此选择保留哪些通道。被删掉的通道及相关参数会从网络结构中实际移除,专家内部的矩阵运算规模随之缩小。
更进一步,Agnes 调整了视频生成中不同去噪步骤的计算安排。
去噪是生成画面最主要的计算环节。视频生成需要经过多轮去噪,逐渐形成画面。Agnes 在剪枝基础上提供 Quality 和 Fast 两种计算配置:Quality 保留更多重要计算通道,侧重生成质量;Fast 则从这些通道中选用贡献较高的一部分,以更少的计算加快处理。根据事先评估,模型在更关键的去噪步骤使用 Quality,在其余步骤使用 Fast。如此,便减少了整个生成过程的开销。
并且,两种配置共用一份权重,无需分别准备或加载两套模型,就能在不同步骤切换计算规模。这既为推理提效提供了手段,也让开发者调整计算安排时有了更灵活的选择。
论文:https://github.com/AgnesAI-Labs/CROWN-Audio-Video-Diffusion
开源链接:https://huggingface.co/Agnes-AI/Agnes-Video-2.0-MoE
从底层提升 AI 视频生产力
总的来看,MoE 解决的是扩展容量与按需调用的问题,EENP 则进一步解决专家内部如何减少计算的问题。两者协作,形成了一种连续的优化路径。这些优化,为视频生成带来了相当明显的改善。
相关实验中,在 EENP“60%剪枝”配置下,模型的平均激活参数量降至约 117 亿,去噪耗时从未剪枝版本的 26.83 秒降至 20.92 秒,减少约 22%。相比原 Dense 模型,去噪耗时也减少了约 13%。
不过,效率提升也伴随着一定的质量取舍。
在涵盖人物表现、可控性、物理合理性等维度的 VBench-2.0 评测中,剪枝后的模型得分约为未剪枝 MoE 的 92.4%。从对照案例来看,在女性说话的低运动场景中,中等程度剪枝后,人物身份与构图仍较稳定;在手持工具操作的高运动场景中,随着剪枝加深,手部、工具边缘等细节更容易退化。
这提示开发者,在探索推理配置时,需要结合内容类型来定。但整体而言,Agnes 的探索在保证较高生成质量的同时,让视频创作可以更快完成。
对于持续生成视频的工具和平台,这已经是值得期待的成果——随着视频生成进入广告、电商和内容制作流程,计算效率会进一步影响服务的供给能力,以及持续使用的成本。一次生成节省的时间,在批量任务中会逐渐累积;在硬件与任务条件相近时,缩短处理时间还让同一套算力可以承接更多需求,完成更多任务。
换言之,Agnes 对视频模型的 MoE 改造,换来了实实在在的生产力提升。而在 Agnes-Video-2.0-MoE 开源后,创作者都有机会从中受益。
瞄准“性价比”的 Agnes
有意思的是,Agnes-Video-2.0-MoE 的开源,不是一次孤立动作。
实际上,Agnes 近期还拿到另一项成果:在 Artificial Analysis 视频综合榜中,其视频模型 Agnes Video 2.5 进入全球前十。而这两项成果,都对这家 AI 公司官网首页的一句话做出回应:“让世界级 AI 属于每一个人”。
在底层技术上,MoE 模型探索了一条着眼于降低推理开销的技术路径;在过往的模型产品上,性价比本就是 Agnes 的突出标签。
以 Agnes Video 2.5 为例,其 720p 视频的 API 基础价格为每秒 0.025 美元,1080p 默认配置下的 API 参考价格为每分钟 2.4 美元,为反复尝试镜头提供了一个更友好的选择。
此外,Agnes 旗下视频创作平台 Pavo,直接提供了一个低门槛的创作入口。平台每天赠送 200 积分,可用于体验 Agnes Video 2.5;平台上的 Agnes Video 2.5 Flash,还可以免费使用,让创作者无负担地验证创作思路。
而把以上汇总起来,可以看到,Agnes 在技术实力上有依据,在视频质量上有成绩,在创作成本上有诚意。
最后一项尤为重要。因为对 AI 创作者来说,“性价比”是一种刚需。头部 AI 视频工具或平台,常依靠免费积分或主动降价拉拢用户。Agnes 自身的情况,也说明了创作者们对性价比的渴望。
综合 API 接入和 Pavo 平台内部使用情况,Agnes 视频模型日均调用生成时长已经达到 560 万秒,约合 1556 小时。与此同时,抖音视频平台中 Pavo 相关话题量超过 3 亿。
其中缘由不难理解。好作品需要反复打磨,但每次视频生成的费用、抽卡带来的精神消耗,都让创作热情降温。而一个高性价比的平台,大大减少了人们的创作负担。
从这个视角来看,Agnes 的种种探索,本质上是对 AI 创作边界的延展。市场需要更多类似的探索,AI 创作也需要更自由一点。