Suno推出Visuals视频工具,底层模型来自MiniMax H3

美国AI音乐平台Suno近日宣布推出视觉创作工具Visuals,把视频和图像生成能力接入音乐创作流程。Suno官方披露,Visuals所使用的模型名为H3 Move,其基础是中国AI公司MiniMax的开源视频模型H3,并针对音乐创作场景做了调优。

从开源基座到音乐场景适配

Suno首席产品官Jack Brody表示,团队用自有数据对这款开源模型进行了优化,使其更贴合音乐视频制作的需求。按照双方的分工,MiniMax H3提供底层模型基础,Suno负责音乐场景适配与产品整合,将歌曲创作、画面生成和人物口型同步放进同一套创作流程。

据Suno介绍,Visuals生成的视频能够呼应歌曲结构和歌词,并支持演唱口型同步。用户既可以选择平台提供的原创角色,也可以上传参考图片,再结合音乐和文字提示生成最长15秒的视频片段,之后通过时间轴延长、编排和编辑片段。此外,用户还能制作歌词视频和专辑封面,自定义歌词字体与颜色,并根据发布需求选择画面比例。

视频创作此前受制于速度与成本

视频创作一直是Suno产品拓展的方向,但过去生成速度较慢、成本较高,普通用户难以使用。Brody表示,视频模型在速度、成本和质量上已经具备向普通用户提供视频创作服务的条件。

作为H3 Move的基础模型,MiniMax H3于今年8月开放模型权重,支持企业和开发者在其基础上部署、微调和定制。H3能够统一理解文本、图像、视频和音频构成的上下文,生成带有原生立体声音频的视频,最高支持2K分辨率和15秒时长。

结合Suno此次的产品形态看,这类跨模态能力与音乐视频的创作需求天然契合。H3 Move也呈现了基座视频模型与垂直应用结合的一种路径:以基础模型的多模态生成能力为支撑,再围绕音乐内容加入场景优化、编辑功能和内容保护机制。

独立积分计费与水印保护

Visuals采用独立的付费积分体系。视频和图片生成消耗Visual credits,与歌曲生成积分分开计费。

在内容保护方面,Suno表示Visuals加入了文本与视觉过滤机制,针对特定艺人、公众人物形象及受版权保护内容设置限制,并会在生成内容对外分享前嵌入水印。据Suno官网披露,已有超过1亿人使用其平台创作音乐。

本文由MiniMax提供,量子位获授权转载,观点归原作者所有。