清华系团队联合华为昇腾,五年冲刺十万卡国产Token工厂

两年半增长5000倍——这是中国日均Token调用量的增速。2024年初这一数字约为1000亿,到2026年6月已攀升至约500万亿。Agent应用深入各行各业,模型能力持续突破,AI对算力的需求正以前所未有的速度扩张。

需求井喷的同时,供给侧却呈现另一番局面。受外部环境影响,非国产先进算力的供应存在不确定性,国产芯片正加速走向主场。市场研究机构TrendForce预测,2026年中国高端AI芯片市场中,国产方案出货份额将接近90%。国芯国模,正在从一项重要的技术选择,变为中国AI产业必须掌握的基础能力。

但这条主线仍布满障碍:不同厂商的芯片对应不同软件栈,模型适配与开发者生态尚在完善;设备上架后难以匹配真实流量,算力利用率不足。更深层的矛盾在于,供给侧按卡数、机柜和峰值算力衡量资源,需求侧却按有效Token产出、响应速度和服务质量采购——供需两端说着两种不同的语言。

出身清华系的AI基础设施企业清昴智能,正尝试成为中间的“翻译官”。11月17日,清昴联合华为昇腾生态及多家产业伙伴,正式发起昇腾950DT万卡级Token工厂联合运营计划。

按照计划,清昴将以打造国内规模最大的独立国产Token工厂为目标,把分散、异构的国产算力组织起来,通过RSI驱动的软件技术和运营体系,转化为可计量、可验收、稳定交付的Token产能。未来五年,清昴还将建设覆盖多地域、多芯片的十万卡级Token工厂网络,让国产芯片真正成为支撑大模型与Agent持续运行的生产力。

让分散的国产算力汇成万卡级Token工厂

建设万卡级算力集群,解决的是计算资源的规模问题。要让这些算力成为一座持续生产、稳定交付Token的工厂,还需要更完整的技术与运营体系。除了芯片、机房和电力,Token生产还涉及模型适配、资源调度和真实业务需求,这些能力和资源通常分散在产业链不同企业手中。

清昴此次万卡计划的特殊之处,就在于“联合运营”四个字。按照最新公布的路线图,清昴计划于2027年推进昇腾950DT万卡级联合运营,建设国内领先的独立国产Token工厂;未来五年,将这套体系扩展为十万卡级别自主可控的Token工厂网络,实现多地域、多芯片的统一调度与全国产算力供需匹配。

面对如此庞大的算力规模,清昴选择让不同企业各展所长,共同参与Token生产。具体而言,这一计划由四方共建、联合运营:华为昇腾生态提供芯片、超节点产品及技术协同;IDC和智算中心提供机房、电力与算力资源;模型与流量方提供真实业务需求,并参与服务质量验收;清昴智能作为生态组织者,承担中间的软件优化、集群调度、统一计量和联合运营工作,让分散的算力统一调度,再将最终产出的Token交付给客户。

四方围绕真实Token产出建立合作机制,通过服务质量协议(SLA)和统一计量体系,明确各自的投入、运营责任与收益分配。芯片、机房和模型需求来自不同企业,但最终交付的是符合统一标准的Token服务,各方的合作也由设备和资源的供给,进一步深入到生产与运营环节。

清昴公布的首批运营合作方包括北京智源人工智能研究院、上海数据港、中国电信湖北分公司、湖北大数据集团和北京国际算力服务有限公司等。

支撑这项万卡计划的,是清昴此前积累的国产算力运营基础。截至目前,清昴已联合20余家算力中心开展运营,积累近2万张国产卡的调度经验,完成15款以上国产芯片的适配优化,并推进了近10套昇腾910C超节点落地。作为华为首批950DT超节点合作伙伴,清昴披露多套昇腾950算力已落地武汉、芜湖等地机房,相关全栈适配与运营能力正在建设中。

这些跨芯片、跨中心的实践经验,让清昴有机会通过昇腾950DT平台,将Token生产能力铺向更大的算力网络,也勾勒出一条不同于传统算力中心建设的商业路径。传统智算中心的扩张往往伴随大量芯片采购、机房建设和配套投资,企业投入多少资本很大程度上决定能掌握多少计算资源;清昴则通过联合运营参与Token生产,让算力服务的扩张不再完全依赖自有设备数量,技术效率、资源组织和客户交付能力的重要性随之提高。

不过,万卡规模只是基础。同样是一万张卡,模型适配效率不同、资源调度水平不同,最终能够交付的Token产量与质量往往相去甚远。清昴智能创始人、首席执行官关超宇提出了衡量Token工厂实力的核心验收标准:多、快、好、省。多,衡量支持模型的丰富程度与有效Token吞吐;快,关注首Token时延、输出速度及新模型适配效率;好,要求模型精度一致、服务稳定,并满足客户SLA;省,则落在每百万有效Token的综合成本与单位能耗产出。这四项标准最终指向同一个目标——在既定的服务质量下,让有限的计算资源持续产出更多高质量Token。

有卡不等于有高质量Token

国产算力发展到今天,首先遭遇的是模型与硬件之间的时间差。模型一日千里,硬件却有自己的生长周期:一款芯片从规划、研发到发布可能需要三年左右,但短短一年多,模型规模、上下文长度、推理方式及客户对响应速度的要求就可能发生巨大变化。更何况,国产算力正呈现多元化发展格局,不同芯片拥有不同架构和软件栈,新模型投入使用往往还需要经过兼容、算子调优和性能验证。

北京智源人工智能研究院副院长兼总工程师林咏华认为,国内已经拥有不少优秀的芯片团队,产业更需要完善的是让不同硬件共享技术成果、协同发展的软件体系。芯片选择愈加丰富后,模型与硬件之间的软件适配,就成为必须跨越的第一道关口。

第二道关口在数据中心的实际运行中——设备上架率并不等于算力利用率。真实业务里,长短请求大多混杂,并发量不断波动,Agent还会在复杂任务中反复调用模型,产生大量长上下文和缓存需求。固定的模型部署与调度方案很难始终匹配这样的负载变化,芯片即便完成部署,仍需要持续优化并行策略、缓存管理和资源分配,才能充分释放计算能力。因此,算力建设与业务需求之间同样存在时间错位。

最后一道关口落在实际交付上。芯片厂商关注计算性能,算力中心关注卡数和资源利用率;真正购买模型服务的客户,却更关心Token吞吐量、响应时延、服务稳定性和实际成本。尤其是Agent应用,单次任务可能涉及多轮推理与工具调用,中间某个环节发生故障就会影响整个流程。看似便宜的Token,如果频繁引发任务失败或反复调用,最终的业务成本可能反而更高。

三道关口最终都指向Token工厂的生产能力:模型适配决定芯片能否高效运行,资源调度影响已有算力能释放多少性能,服务质量则关系到Token能否真正进入企业生产。其中任何一个环节存在短板,最终都将反映在Token的产量、成本和交付质量上。一座成熟的Token工厂,需要将这些原本分散的工程能力组织起来,让每一张芯片产生的计算能力,最终变成稳定、可预期的Token产出。

让万卡持续变强,清昴押注RSI

Token服务正在成为AI基础设施竞争的新阵地。大型云厂商已将Token服务纳入AI基础设施布局,它们拥有庞大的算力资源、客户网络和成熟的服务体系,部分企业还将自研芯片、基础模型与应用流量组织在同一生态内。另一边,很多独立企业也在围绕高性能推理、异构算力调度和模型服务拓展市场,依靠底层效率与跨平台能力参与竞争。同样提供Token服务,各家企业所依托的资源与技术路径并不相同。

清昴选择的,是更靠近Token生产环节的一条路。要在这场竞争中立足,清昴必须凭借软件优化与专业化运营,让分散在不同企业手中的国产算力创造更高的实际产出。这条路也与清昴的创业经历一脉相承。

2022年10月,关超宇与本科时期的伙伴姚航共同创立清昴智能。关超宇在清华大学研究自动机器学习,曾带队研发自动图学习开源项目AutoGL;姚航曾在华为担任资深工程师,带队研发IC硬件,长期专注国产芯片适配。清昴的创始团队成员也大多来自清华大学计算机系,在自动机器学习、模型压缩和边缘计算等方向拥有技术积累。

最初,清昴致力于提高AI模型在不同芯片上的运行效率。国产芯片与大模型加速发展后,这项研究逐渐扩展到更大规模的算力集群。2024年,华为旗下哈勃投资入股清昴,公司业务进一步向国产算力优化延伸。随着集群规模扩大,整体效能和稳定交付又成了新的挑战,清昴的技术体系随之扩展,逐渐形成两套核心软件:MLGuider推理引擎负责优化模型在底层硬件上的计算效率;玄武智算云则将不同芯片与算力中心纳入统一管理,承担资源调度、运行监控和Token计量等工作。

真实业务请求进入工厂后,需要先匹配合适的计算资源,再通过高效推理生成Token,最终按照客户要求完成计量与交付。整个过程中,资源利用率、响应速度和服务稳定性都直接影响最终产能。围绕这些环节,清昴此前积累的六项技术能力恰好形成了一套相互衔接的软件基础:智能网关负责请求分配,多级KV Cache减少重复计算;算子加速与分布式并行提高推理效率和集群吞吐;稳定性运维保障持续交付;RSI自进化优化则让运行中积累的经验得到复用,推动整套系统不断改进。

首先得到提高的是算力资源的实际利用效率。Agent应用涉及大量长上下文和连续调用,不同请求对计算资源的需求差异明显。清昴通过智能网关动态分配算力,并利用四级KV Cache复用已有计算结果,减少重复运算。据公司披露,相关场景的缓存命中率最高达到99%,算力利用率曾由30%~40%提升至约80%,重复计算与闲置资源问题得到明显改善。也就是说,同样一批芯片可以承接更多真实业务请求,算力中心无需完全依靠增加设备来扩大服务能力,也为降低Token生产的综合成本创造了空间。

资源得到充分利用之后,还要进一步提高Token的实际产出速度。相比单个算子的性能变化,集群吞吐和响应时延更接近客户能够感受到的服务能力。清昴通过底层算子和分布式并行优化,在相关测试中将特定MoE算子的执行性能提升84倍,Linear Attention算子性能提升63.4倍;集群层面,每分钟Token吞吐量由4000万提升至1.4亿,P99首Token时延由180秒缩短至40秒。

Token生产出来,还需要能够稳定交付。对于需要连续调用模型的Agent应用,稳定性直接关系到Token服务的实际使用成本,这也是工厂能够进入企业生产环境的重要前提。为此,清昴建立了覆盖运行监控、故障隔离和业务恢复的运维体系,尽可能保障99.99%的服务可用性。这些技术共同作用于Token生产的吞吐、响应、稳定性和成本控制,对应的正是清昴提出的“多快好省”标准。

不过,万卡工厂真正的难题还在于规模化复制。面对数万张芯片、大量不同的模型组合以及业务负载的变化,如果还要依靠传统方法让工程师反复调试完成优化,成本与难度都会暴增。清昴为此将RSI自进化技术引入Token工厂,尝试“用AI优化AI”,让AI参与优化支撑自身运行的计算系统。目前,这套系统已积累数万条优化轨迹,支持新算子小时级开发验证、新模型天级适配上线。这意味着,新模型和新硬件接入时,部分原本需要工程师重复完成的工作有机会借助已有经验更快完成,模型适配与优化周期的缩短也有助于减少新算力投入使用之前的等待时间。

而且联合运营网络让清昴得以进入更多合作伙伴的算力中心,不同芯片、模型和实际业务产生的运行数据,又反过来为RSI系统提供更多优化经验,进一步改善Token生产效率。技术、运营与规模,由此形成相互促进的关系。

沿着这条路径,清昴正在构建一套面向国芯国模的国产Token算力底座:底层连接多地域、多芯片的计算资源,上层承接大模型、Agent及行业应用的真实需求,中间通过推理优化、统一调度和持续运营,将分散的算力转化为稳定、可扩容的Token供给。

随着国产芯片供给持续扩大、模型能力不断突破,新的软件体系、运营服务和商业协作机制正在形成,国芯国模的竞争开始深入整个产业体系的组织与运行。更深层的变化是,中国AI产业正在建立自己的生产秩序。非国产先进算力的供应在经历反复波动,国内模型的迭代和应用需求却不会停下来。每一代芯片的进步、每一款模型的突破,都需要成熟的软件体系和产业协作承接,让技术成果沉淀为持续、稳定的供给能力。国芯国模的崛起,终究要超越单个产品的技术突破,形成一套自主运转、自我进化的产业体系。只有将芯片、模型与生产体系牢牢掌握在自己手中,中国AI才能真正按照自己的节奏向前。