昇腾原生训出双榜第一的具身世界模型,华为云要把整套底座开放

华为云要开源具身世界模型了,而且一出手就是双榜第一。更关键的是,这个模型训练所用的算力来自国产昇腾。

11月16日,华为云正式发布昇腾原生具身世界模型CloudRobo-WM1.2。在RoboTwin 2.0和LIBERO-Pro 2.0两项具身智能评测中,其平均成功率均位列第一,分别达到88.98%和81.73%。

华为云计划在11月30日开放该模型的权重、推理代码和后训练代码。连后训练代码都直接开源,意味着其他机器人团队若想让模型学习新任务,无需从零搭建训练链路,拿到现成代码并接入自家数据即可上手调试验证。

这次华为云没有停留在“把模型迁移到昇腾芯片上跑通”这一步,而是从模型架构、训练框架到核心算子、推理部署,围绕具身模型的特点做软硬件协同优化。从世界模型预训练、强化学习到机器人上手干活,整条链路被打通,这正是“昇腾原生”的核心含义。

国产算力也能训出双榜第一

CloudRobo-WM1.2首次亮相就交出两份亮眼成绩单:在RoboTwin 2.0和LIBERO-Pro 2.0上分别跑出88.98%和81.73%,双双拿下第一。这款模型在昇腾算力上训练,其训练框架、关键算子、推理部署也都围绕昇腾做了优化。

仿真榜单成绩亮眼,真机场景同样经得起考验。在第三方独立测试中,5种机器人本体上阵,考核13项操作任务,从转旋钮、双臂连续交接到玩具入篮,模型的平均成功率比第二名高出23个百分点。

有个细节值得注意:机器人将插头插入后意外滑脱,CloudRobo-WM1.2可以根据新观测画面动态调整动作,重试插接。这意味着它记住的不只是固定动作轨迹,还具备对物理交互结果的预判能力。

能取得SOTA表现并不意外。首先,CloudRobo-WM1.2在“让机器人更懂物理世界”上下了功夫。常规模型能够识别杯子、定位杯子的空间位置,但学到的大多只是特定视角下的外观特征。一旦涉及物理交互——比如机器人向前推动杯子,杯子会滑动还是倾倒——普通模型很难精准预判;在物体遮挡、视角变化、物体动态运动的场景下,误差会更加明显。

华为云采用PPA(Perceive-Predict-Act)多模态世界表征架构,把感知、预测和动作放在同一阶段联合训练,同步接入RGB视频、DINO语义特征、深度和三维点云多类信号。因此机器人不光知道杯子是什么、在哪儿,还能理解它的空间结构、运动状态,并预判动作带来的物理结果。

模型能学的信息多了,具身数据里的动作标注、深度和相机视角却经常凑不齐。少了一项,剩下的还能拿来训吗?能。华为云在预训练时用多粒度监督掩码,把缺失或无效的部分从损失计算里划掉,哪部分信息可靠,模型就学哪部分。这就像做一道综合大题,如果某一小问的条件残缺读不通,不会直接放弃整道大题,而是先用其他清晰可用的条件继续推导求解。

它的实际意义不在于“容忍脏数据”,而在于让大量不够完美的异构数据进入训练,避免因为局部信息缺失直接丢弃整条样本。真机采集数据成本高达500元至1000元/小时,存量有效数据仅百万小时级别,而头部厂商判断的需求是亿小时级。在这种供需差下,数据利用效率本身就是工程竞争力。

华为云还在“让机器人有更强的动手能力”上实现了两处突破。

第一,场景理解与动作生成双路径协同,即DualAct架构。一条是action expert动作专家分支,负责直接生成动作,速度更快,适合对响应速度要求更高的任务;另一条依托世界模型骨干world generator,在理解场景的同时预测未来状态,精度更高,适合精细、复杂、需要考虑物理变化的任务。两条路用同一套动作目标训练,专家的大小也可以按任务调整,兼顾速度与精度。

第二,本体语义保真跨具身运动建模,解决一套模型适配多形态机器人的难题。不同机器人本体差异巨大:单臂、双臂、轮式机器人结构各不相同,好比不同车型,操控逻辑各有区别;但同类任务背后,动作意图是共通的。华为云这套技术相当于给机器人装个“翻译器”:模型保留机器人96维、人类运动168维各自的原生状态表征,再用本体标记区分各自的运动接口。对物体和场景的理解可以一起学;该怎么动,就按机器人各自的结构特征来自主适配。

据华为云披露,现在训练数据已经扩到2.75万小时,接入20个数据源、33种本体。

做具身模型还有一个共识:“想得准”和“动作出得快”挺难兼顾。华为云给推理方案设置了四个“套餐”——World/Expert Action,Joint/Action-only,四种弹性推理模式可按需组合。可以只输出动作,也可以兼顾输出动作和预测;可以指定让动作专家来搞定,或是让世界骨干来完成。研发调试要精度,实际部署要速度,都能照顾到,研发团队可以根据算力、时延要求灵活组合,就像点菜一样,丰俭由人。最重的一档,计算量约是最轻一档的11倍。按任务挑着算,是CloudRobo-WM1.2在模型设计上省算力的办法。

可要把长视频、深度和动作一起训进去,还要让模型到了真机能及时出动作,昇腾是怎么接住这些活儿的?

“昇腾原生”,到底原生在哪里?

华为云先从显存下手。拿7B参数的世界动作模型算笔账:光是模型参数、梯度和优化器状态,就要吃掉约112GB显存,长视频带来的额外开销还没算进去。具身世界模型对算力的胃口不是一般的大,视频、深度、三维点云、动作序列,模型都得处理,算力与显存需求远超普通大模型。

到了真机上,又要算另一笔账。机器人等着下一步指令,模型得及时给出动作,推理开销也得控住。这笔开销牵动的是整套训练系统:几张卡怎么分活儿,大数据怎么送过去,训练框架和算子怎么在卡上跑,多分支梯度如何归约,attention选择性重算等,都要围绕昇腾这套硬件一起调。这就是“昇腾原生”。

一张工作台摊不开,就让几张台子一起干。华为云把数据处理和模型计算分开,前者可以交给鲲鹏,后者由昇腾NPU来做。多张昇腾卡通过超节点高速互联,长视频序列可以拆开算,模型参数也能分着存。有些中间结果可以等用到时再算一遍,多花几步计算,给显存腾出地方。

桌子摆开了,下一批数据还得及时送过去。两路各4Mbps的视频,录8000小时,光压缩视频就有约28.8TB。训练时还要反复读、解码、抽帧,再把画面对上同一时刻的机器人轨迹。华为云把视频、关节状态、末端轨迹、底盘和任务标签统一存起来,按一次完整的操作建索引。搜到一段动作,相关数据就能一块儿取出来。常用的提前缓存,下一批要用的提前读。卡还在算手上这批,后一批已经在路上了,避免算力空等。这有点像餐馆后厨:热门菜提前备料,下一单还没来,食材已经先解冻了。

数据到了,训练框架还得把活儿派匀。视频、点云和动作占的显存不一样,一批样本分得不好,这张卡已经挤满了,那张卡还空着。华为云在框架里单独安排重计算,配合长序列和模型并行,把各张卡的负担分匀一点。几张卡要交换结果,也可以趁数据还在路上,先算手头能做的部分。

到了强化学习环节,同样存在算力等待瓶颈。模型把动作算出来了,仿真里的机器人得照着做,再把新画面和结果送回来,训练才能接着跑。华为云和清华大学于超团队把开源具身强化学习框架RLinf接到昇腾上,有个改动挺有意思:在一组LIBERO测试里,模型一次给出10步动作,第10步才需要看新画面,那前9步的画面就无需逐帧渲染。物理仿真一步步走,奖励也照常算,在动作规划周期内减少渲染开销。

昇腾卡上也有活儿能省。华为云团队把归一化、旋转位置编码等反复要做的运算,接到昇腾NPU的融合算子上。原来要分几次做的计算,有些可以在卡上合着算,少下几次指令,中间数据也少搬几趟。华为云透露,适配后,相关推理效率和训练吞吐有约2至3倍的提升。拆开看RLinf公布的测试,GR00T N1.5和N1.6单位时间内能算出的动作增加了195%至278%,StarVLA的训练调用吞吐提升186%至240%。一整轮强化学习能快多少,还得把仿真、通信和参数更新都算进去。

这些活儿接到了CloudRobo,也就是华为云的具身智能开发和运行平台。数据难采,可以先在仿真里合成一批,再在昇腾上做预训练、强化学习和评测。上真机时,就能用上前面说的四种推理模式。调试时把未来画面和动作一起算出来,现场干活时可以只算下一段动作。

动作算完了,还得及时送到机器人手上。华为云用R2C(Robot to Cloud)接入不同机器人,现场的画面和状态能传上去,模型算出的动作也能发回来。需要近距离无线通信时,还可以结合星闪,减少传输延迟。碰上新的工况,团队会把采到的作业数据带回CloudRobo,看看模型在哪一步出了问题,再补训、评测,把更新后的模型部署回去。

模型能训出来,也能上真机了。到了工厂,先让机器人接哪道工序?到了仓库,哪种工况最该补数据?这些事,天天跟设备打交道的人最清楚。

要把伙伴拉进来

可真要把一道工序教给机器人,谁也没法一手包办。做模型的进厂,得补现场数据、学工艺;制造企业懂生产,但也得有人帮着采数据、训模型;本体厂商则要把模型接到自家机器人上,边跑边调。华为云想把这几拨人拉到CloudRobo上一起做项目。

数据怎么进、模型怎么训、仿真怎么测、真机怎么跑,平台留了API、SDK、CLI和插件接口。各家的模型、数采工具和训练框架,都能接进来用。CloudRobo-WM1.2也会进平台,权重、推理代码和后训练代码计划于11月30日开放。

东西做好了,怎么卖出去?华为云“行业AI梦工厂”具身智能专区依托昇腾云和CloudRobo,伙伴能在这儿发布数据集、模型、工具链和方案。比如做仿真引擎,华为云和伙伴一起打磨,做好的能力可以集成进CloudRobo,也能上云商店卖。华为云具身智能产品线总裁、具身智能Lab主任吴小东还给了句准话:同等条件下,华为云优先推荐伙伴的模型和方案。

具身智能正在走向产业化的关键窗口期,昇腾云已成为国产云阵营中事实上的算力底座与生态入口。从6月上线到现在,具身智能专区已经和230多家企业及高校开展合作,吸引了超1.65万名开发者,攒下1500多项行业资产。当前,国内每10家具身智能企业,可能就有8家选了华为昇腾云。

身处国内具身智能市场第一梯队,华为昇腾云也完成国内重点高校的大范围覆盖。浙大、上海交大等都已经和华为云深度合作,用昇腾算力、仿真平台和开源代码一起训模型、搭数据集、做评测,也共建课程和实训基地。

产业侧的落地也在持续提速:与福龙马围绕无人环卫展开合作,联合定义产品,也一起搞营销、推上市;与亿嘉和联合发布配网带电作业机器人,在配网高危作业中规模化商用;与山河智能联合推进矿山场景落地……从工业制造、城市服务、应急救援,到生活服务、医疗康养、教育实训,CloudRobo的触角已经延伸至20多个行业。

One more thing

全球AI的比拼,正从一块芯片的性能,转向一整套系统的能力。落到具身智能上,电力得供得上,机器人干活的数据得收得回来、用得起来,还得把机器交到客户手里,进了新场景能接着改。

国内有电力基建和“东数西算”打底。国产算力训练具身模型逐渐成熟,接下来比的就是谁训得更快、能用上更多数据、部署成本更低、落地更快。单项技术能跑到前面,把各个环节接起来的工程能力和产业配套,也一样重要。

用昇腾原生训练的CloudRobo-WM1.2,在两项国际基准上都拿了第一,挺提气的。至少对具身智能厂商而言,训练侧终于不只有英伟达一条路可走了。