米哈游的AI研究有了新进展。其崩坏AI研发团队最新发布的论文中,提出了一个名为Gamer的通用视觉—语言—动作(VLA)基础模型。在演示中,AI能够自己操作键鼠玩《崩坏:星穹铁道》,完成与可可利亚战斗、启动场景机关、跟随NPC跑图等任务。
《崩坏:星穹铁道》是米哈游开发的一款银河冒险题材回合制角色扮演游戏,玩家乘坐星穹列车探索不同世界,通过跑图、对话和解谜推进剧情,并组建角色队伍进行回合制战斗。
VLA模型如何“代肝”
Gamer的定位是面向长流程、实时交互的通用VLA基础模型。此次演示玩《崩铁》的主力版本,由团队基于参数量80亿的Qwen3-VL-8B进一步训练而来。模型根据游戏画面和任务指令,决定按哪些键、鼠标如何移动、何时点击,并真正执行这些操作。屏幕画面是视觉输入,任务指令告诉它目标,键鼠操作则是输出动作。
与以往的AI玩游戏相比,Gamer最大的亮点是将跨游戏的实时操作与长流程的记忆、规划接入同一套VLA框架。实战中,模型完全依靠屏幕画面、任务指令和已有记忆做判断,无需读取游戏内部接口或底层状态。随着任务推进,它还会动态记录“刚才完成了什么”“下一步准备干什么”。
论文给出了一组实测数据:在覆盖五个主线篇章、总计约50小时的《崩铁》长流程评估中,Gamer的自主运行时间占比超过95%。
三阶段训练流程
为实现这一效果,研究设计了三阶段训练流程:先用跨游戏数据练操作,再用任务示范补上思考和记忆,最后让模型进入游戏,通过试错和反馈继续提升。
第一阶段是持续预训练(CPT),让已具备图文理解能力的基座模型进一步学会操作游戏。团队将不同游戏的录屏与玩家操作对齐,让模型学习画面与动作之间的关系,例如人物往前走时场景如何变化、鼠标右移时镜头转向哪里。这些操作被整理成统一的键鼠格式,使不同游戏的数据能进入同一套训练流程。执行时,Gamer每隔200毫秒读取一次画面,一次安排随后六个动作块,每个约33毫秒,对应30Hz的控制节奏。
第二阶段是微调,团队整理了约1000小时高质量《崩铁》演示,把目标分成具体操作、阶段性小目标和完整任务,教模型组织动作。这里有两个关键工程设计,用于解决长流程中的推理延迟与上下文爆炸问题:
稀疏思考机制:沿着确定路线前进时直接操作;遇到路线失败、目标切换或新的交互提示时,再展开推理。
记忆摘要机制:旧记录即将移出上下文时,模型先记下任务进度、失败尝试、重要地点和后续计划,让后续操作有据可循。
第三阶段是在线强化学习,团队提出TA-GRPO,把长流程拆成由记忆衔接的片段,比较不同尝试在相应阶段的表现,再利用游戏环境核验的结果更新模型。例如是否到达目标地点、是否完成当前任务,都能成为训练反馈。配套的Streaming-vLLM推理引擎还能复用已处理的上下文,并提前输出生成且核验完毕的动作块,让游戏画面先动起来,大幅降低操作延迟。
实验测试结果
在跨游戏实验中,团队测试了Gamer的CPT版本,涵盖《我的世界》、基于《毁灭战士》的ViZDoom,以及OmniGameArena和GameWorld等多个游戏环境。在《我的世界》里,它能自己转视角锁定史莱姆,追上去挥剑劈砍;在ViZDoom中,它能迅速拉枪瞄准,连续点射逼近的敌人。
在四项公共基准上,Gamer-8B-CPT的平均得分为29.5,所列通用模型对照中最高仅为17.6。在七类小游戏、共40个未参与训练的任务中,基座模型成功率仅3.2%,经过CPT升至15.0%,SFT后提升至39.2%,加入强化学习后达到49.7%;作为对比,同场竞技的通用模型最高分(GPT-6.1-Sol)仅为17.1%。
这些结果支持了团队的核心判断:通过统一的键鼠接口,把跨游戏学习、长期记忆和实时操作结合起来,可以让AI在复杂游戏中持续执行任务,并通过交互继续改进。团队在论文结尾指出,这类能力有望用于自动化测试、加快游戏迭代,并支持新的玩法机制,从而降低开发成本。
团队介绍
论文贡献者名单共列出8位共同一作,其中5位在米哈游实习期间参与了该项目研发。
Run Luo:新加坡国立大学计算机科学博士生,曾参与GUI-R1、OpenOmni等项目,在Gamer中负责三阶段训练、数据、基础设施及评测建设。
张宽(Kuan Zhang):清华大学人工智能学院博士生,GameScaling与GameVerse共同一作,主要负责持续预训练、数据及评测建设。他在个人主页中写道,自己是英雄联盟大师段位玩家。
Qi Deng:米哈游崩坏AI研发团队成员,负责强化学习、训推基础设施,以及数据与评测建设。
Yukun Chen:中国科学院大学研究生,GameScaling共同一作、多模态推理研究RuCL一作,主要负责监督微调、数据及评测建设。
Zhihao Yang:中国科学院大学计算机专业博士生,本科毕业于同济大学,主攻游戏与智能体方向,在项目中负责强化学习、数据及评测建设。
Yufei Zhang:米哈游崩坏AI研发团队成员,主要负责训练与推理基础设施建设。
Renrong Hu:米哈游崩坏AI研发团队成员,主要负责基准建设与评测。
Yi Zhang:来自中国科学技术大学,在米哈游实习期间参与项目,主要负责基准建设与评测。
米哈游崩坏AI研发团队的布局已覆盖AI NPC、游戏智能体与研发自动化三大方向,持续探索大模型在游戏体验革新与工业化管线中的落地。论文指导者之一郑银河,正是《崩坏》系列AI NPC与Gameplay技术团队的负责人。此前,郑银河曾在云栖大会上披露过《崩铁》的AI帕姆,以及赋能内部研发的Agent平台EchoX。学术方面,该团队还联合高校推出了GameScaling和Video-Arena,分别探明跨游戏持续预训练的Scaling Law,以及模型对动态游戏画面的理解边界。
参考链接:
[1] https://arxiv.org/html/2611.18397v1
[2] https://mihoyo-gamer.github.io/





