这项由华中科技大学、中关村塾院、哈尔滨工业大学、香港科技大学（广州）、北京航空航天大学、郑州大学、华东师范大学、中国科学技能大学及DeepCybo等多家机构挽救开展的参谋，以arXiv预印本模式发布于2026年5月14日，论文编号为arXiv:2605.14712。

你有莫得遭受过这么的情况：家里的扫地机器东说念主明明依然清扫过左边边缘，却又记忆再扫一遍，堕入无限轮回？又或者，一个帮你作念饭的机器东说念主助手，明明刚才把鸡蛋放进了锅里，却鄙人一个动作时蓦然"失忆"，不知说念我方接下来是要翻炒如故加盐？

这类问题，提及来可笑，却是目前机器东说念主技能界限最头疼的难题之一。参谋团队把这个问题起了个很形象的名字，叫作念"短视界意图期侮"。这篇论文的中枢使命，便是试图给机器东说念主装上一段"短期记挂"，让它在行动时能记取我方刚才作念了什么，从而判断接下来该作念什么。参谋后果被定名为IntentVLA，同期参谋团队还开荒了一套专诚用来测量这个问题严重进程的评测器用，叫作念AliasBench。

一、机器东说念主为什么会"忘事"？

先来贯通一下机器东说念主是奈何"看"寰宇的。目前开端进的机器东说念主为止系统，大多依赖一种叫作念"视觉-语言-动作模子"（Vision-Language-Action，简称VLA）的框架。顾名想义，这类系统会罗致一张现时的摄像头画面，同期读取你给它的教唆，然后径直输出一段动作序列，告诉机器东说念主接下来几步要奈何动。

这个框架乍听起来很完好，但它有一个致命缺陷：它只看现时这一帧画面。就像一个失忆的厨师，每次作念菜前齐只可看目下的灶台，却统统不难无私方五分钟前依然加过盐了。

参谋团队举了一个绝顶直不雅的例子：假定要完成的任务是"把面包放进平底锅煎，然后取出来放回盘子里"。在这个任务经由中，有两个时刻的画面看起来极其相似——机器东说念主手里夹着面包，悬在使命台上方。第一次是刚提起面包准备放锅里的时候，第二次是煎好后取出头包准备放回盘子的时候。对东说念主类来说，只需要追忆一下刚才作念了什么，就能知说念当今应该往哪个标的走。但关于只看现时画面的机器东说念主来说，这两个短暂险些一模一样，它无法判断我方到底是要"放进锅"如故"放回盘"。

更倒霉的是，当代机器东说念主系统时常不是荟萃履行动作的，而是每隔一小段时刻就重新"想"一次下一步该奈何走，产生新的动作教唆，再接着履行。这叫作念"分段预备"。如若莫得记挂，机器东说念主在两次相邻的"重新预备"中，统统有可能产生截然违反的动作教唆——一次觉得要往左，下次又觉得要往右。这种反覆无常开运体育中国官网入口的行动，在履行履行中会推崇为机器东说念主来回挂念、反复踌躇，致使统统失控。

二、这个问题有多严重？参谋团队造了一把"尺子"来量

光说问题存在是不够的，参谋团队还需要讲授这个问题真实、大齐、值得被严肃对待。为此，他们专诚打造了AliasBench这套评测体系。

AliasBench竖立在RoboTwin2这个机器东说念主仿真平台之上，包含了12种用心联想的操作任务，况兼为每种任务同期准备了磨练数据和专诚的评测环境。这12个任务的联想原则唯唯一个：它们齐包含"现时画面相似、但下一步动作不同"的重要时刻。

参谋团队把这12个任务归入四大类别，分别对应四种不同的"蛊惑来源"。第一类叫作念"来回期侮"，刻画的是某些任务里机器东说念主需要把物体从A搬到B、再从B搬回A这么的往复经由，半途会出现多个视觉上极其相似的"手持物体"景况，但每次的目的地统统不同。第二类叫作念"旅途交叉期侮"，比如机器东说念主需要从不同源头开赴去往对应的目的地，在半路中画面可能看起来一模一样，但走向统统违反。第三类叫作念"双臂期侮"，专诚针对双臂机器东说念主在把物体从一只手递给另一只手的经由中，两只手的中间景况险些对称，难以分辨是从左递到右如故从右递到左。第四类叫作念"多主见期侮"，任务里有多个候选主见，正确的阿谁只在某个霎经常刻被标示出来，之后这个美艳就灭绝了，机器东说念主必须记取我方刚才看到了什么。

为了让这套评测更有劝服力，参谋团队还作念了一项量化考据实验。他们把每个任务中统共"蛊惑时刻"的画面提真金不怕火出来，滚动为数字向量（不错贯通为把每张图片的视觉特征压缩成一串数字），然后查验这些数字有多相似。末端绝顶澄澈：在统共12个任务中，平均来说，有49.7%的"最相似邻居"来自意图统统不同的时刻。换句话说，快要一半的情况下，机器东说念主看到某个画面，2026世界杯滚球中国官网入口齐会同期梦猜测两种统统不同的下一步动作。而且即使是那些看起来各异稍大极少的情况，它们之间的相似度差距也极其眇小，最大差距不卓越千分之三。这有劲地讲授了"短视界意图期侮"不仅仅一个成见性担忧，而是真实存在于操作任务数据中的大齐时势。

三、给机器东说念主装上"短期记挂"——IntentVLA的联想

既然问题依然说澄澈了，处治决议也就呼之欲出了：给机器东说念主看现时画面的同期，也让它"回顾"一下刚才发生了什么。参谋团队把这个联想叫作念IntentVLA。

不错用一个淘气的比方来贯通IntentVLA的使命模式。假定你是一个莫得任何记挂的助理厨师，每次主厨问你"接下来作念什么"，你只可盯着目下的灶台看。IntentVLA的作用，就止境于在你身边放了一卷十秒钟前的摄像，让你在回复之前先快速回放一遍，然后再作念决定。

具体来说，IntentVLA的联想包含三个互绝顶合的部件，每个部件承担不同职责，共同酿成完整的判断智商。

第一个部件谨慎处理"现时景况"。系统使用了一个叫作念Qwen3-VL的语言-视觉大模子，它罗致现时这一帧画面和你给出的翰墨教唆，把这些信息整合成一个"现时景况刻画"。这一步和传统VLA系统是一样的，莫得本体区别。

第二个部件谨慎处理"历史纪录"。这是IntentVLA最重要的鼎新。系统使用了另一个孤独的模子，叫作念VGGT-1B，专诚用来处理最近一段时刻（苟简最近16帧，苟简对应几秒钟）的画面序列。不外参谋团队作念了一个聪惠的简化：他们不让VGGT分析每帧画面的每一个细节，而只保留两种特殊的输出信息——一个叫作念"摄像头美艳"的向量（纪录摄像头的朝向变化，访佛于纪录"最近几秒钟，你的视角奈何迁徙了"）和四个叫作念"寄存器美艳"的向量（纪录画面间的举座几何关系变化，访佛于纪录"场景的空间结构发生了什么变化"）。这五个向量极其紧凑，却包含了判断"最近在作念什么"所需要的中枢信息。

第三个部件谨慎"交融信息"。系统用一种叫作念"门控交叉凝视力"的机制，把历史信息和现时景况信息合并在整个。不错把这个经由贯通为：助理厨师先看了现时灶台的景况，然后快速扫了一眼摄像回放，终末把两部分信息轮廓起来，酿成一个"轮廓判断"。这个轮廓判断就叫作念"短视界意图暗示"，它是现时任务景况加上最近行动历史共同决定的一个中间变量。终末，这个轮廓判断会被输入到一个基于"流匹配扩散模子"（不错贯通为一种特等擅永生成荟萃动作序列的神经汇集结构）的动作生成头，输出最终的动作教唆。

参谋团队特等强调：这套联想统统不需要东说念主工给每个时刻标注"意图标签"，不需要东说念主类行家告诉系统"这个时刻属于意图A、阿谁时刻属于意图B"。整个系统统统通过师法东说念主类示教数据来自动学习，大大镌汰了履行应用的门槛。

四、效果奈何样？数字话语

参谋团队在四个不同的测试平台上对IntentVLA进行了评估，开运体育官方网站末端在各个方面齐披线路明确的改革。

在专诚为测试意图期侮联想的AliasBench上，IntentVLA的推崇尤为杰出。对比的基准系统是Qwen3VL-GR00T，这是目前开端进的VLA系统之一，在多个公开基准测试上齐有出色推崇。在不使用任何历史信息的情况下，这个基准系统的平均到手率唯独9.0%——这充分评释了纯帧条目方法介意图期侮场景下的严重局限。参谋团队也尝试了一种更径直的历史补充决议：把当年的多帧画面径直拼接进模子的输入中。末端发现，输入最近8帧或16帧历史画面会径直导致内存溢出，根蒂无法运转。输入最近4帧画面凑合不错运转，但到手率也唯独10.4%，栽种极其有限。更聪惠的作念法是从最近16帧中均匀采样4帧输入，到手率栽种到了28.1%，但仍然远低于IntentVLA的45.8%。

这意味着IntentVLA的到手率是基准系统的五倍以上，比最佳的可行历史补充决议跳跃了17.7个百分点。在四种期侮类型中，"旅途交叉期侮"任务的栽种最为显耀，从15.7%跃升至74.7%；"来回期侮"任务也从6.0%栽种到了49.3%。这两类任务恰正是最依赖"物体从那儿来"这一历史信息的场景，也进一步考据了IntentVLA的联想标的是正确的。

除了总体到手率，参谋团队还开荒了一个专诚有计划"相邻动作教唆一致性"的目的，叫作念ICC-L2。这个目的的逻辑很直不雅：如若机器东说念主在某个时刻预备了接下来十步的动作，然后几步之后重新预备，两次预备对团结个改日时刻的展望应该大体一致。如若每次重新预备齐产生天地之别的展望，评释系统在反复"变节"，莫得保管隆重的意图。测量末端披露，IntentVLA将这一目的从0.219镌汰到了0.181，降幅达17.6%。而且在最难的那些时刻，也便是90百分位数的极点情况，降幅更是高达21.7%，评释IntentVLA不仅让平均情况更好，还特等有用地阻截了最严重的"变节"时势。

在另一个普通使用的机器东说念主基准测试SimplerEnv上，IntentVLA在四项WidowX机器东说念主操作任务中取得了72.9%的平均到手率，超越了基准系统Qwen3-VL-GR00T的65.3%，也超越了目前已叙述的最高成绩68.2%。其中"将绿色积木叠放在黄色积木上"这个任务的到手率从18.8%栽种到了54.2%，栽种最为显耀——这类任务需要精准判断抓合手和搁置的过渡景况，恰巧获利于历史信息对空间几何关系的补充。不外也有一项任务"将勺子放在毛巾上"的到手率从83.0%下跌到了70.8%，参谋团队分析觉得，这个任务自身的意图歧义性很低，历史信息的引入反而可能散播了模子对详尽外不雅特征的凝视力。这种"有得有失"的时势恰巧评释了参谋的客不雅性。

在LIBERO这个多任务机器东说念主学习基准上，IntentVLA在包含四个子任务套件的轮廓评测中取得了98.6%的平均到手率，比基准系统的96.5%有所栽种。最值得情愫的是"LIBERO-Long"子套件，这个套件包含需要完成多个荟萃子任务的复杂任务，对意图连贯性要求最高。IntentVLA在这里取得了97.4%的到手率，而基准系统唯独92.0%，π0.5系统也唯独92.4%。

在RoboCasa这个包含24种各样化操作任务的大型基准上，IntentVLA以57.0%的平均到手率位居统共对比方法之首，超越了第二名TwinBrainVLA的54.6%。

五、哪些部件真实起了作用？拆伙来看的消融实验

为了搞澄澈IntentVLA的性能栽种到底来自那儿，参谋团队把这套系统拆伙，逐个去掉不同的组件，不雅察效果怎样变化。

最基础的对照是纯帧条目的基准系统，平均到手率65.3%。如若只加入VGGT编码器但不给它任何历史信息、只让它处理现时这一帧，到手率反而略有下跌，变成64.8%。这评释VGGT自身不是魔法棒，它的价值统统来自于对多帧历史信息的处理，而不是行动单帧特征提真金不怕火器使用。接下来，给VGGT输入历史帧并通过门控交叉凝视力交融进来，到手率栽种到69.5%。终末再加上阿谁"历史摘录令牌"，即把历史信息荒谬压缩成一个紧凑的单向量附加给动作模子，到手率进一步栽种到72.9%。这个逐步递加的末端标明，IntentVLA的每一个联想组件齐有实质孝敬，而且两种模式的历史信息暗示（细粒度的多帧令牌序列和压缩的单向量摘录）是互补的，统筹兼顾。

六、诚笃濒临局限：这套方法处治不了什么问题

参谋团队在论文中坦诚地列举了IntentVLA目前的局限，这种客不雅气派值得确定。

最初，IntentVLA的记挂窗口唯独最近16帧，隐蔽时刻绝顶有限。关于那些需要记取很久以前发生了什么的任务，比如半小时前的操作决策，这套方法窝囊为力。其次，现时的统共评测齐在仿真环境中进行，还莫得在真什物理机器东说念主上考据效果。真实寰宇的爽快变化、噪声搅扰、物体外不雅各异等身分，可能会给历史信息的专揽带来荒谬挑战。第三，AliasBench上的平均到手率唯独45.8%，远未处治问题，双臂协调和多主见任务依然绝顶繁难。参谋团队分析，这一方面是因为16帧的历史窗口不够长，另一方面是因为机器东说念主在履行经由中会犯错，导致履行的历史画面和磨练时见过的示教历史画面出现偏差，系统对这种"偏差历史"的处明智商还有待加强。

参谋团队指出了改日的改革标的：把评测推广到真实机器东说念主平台，参谋更具可解释性的意图探针，以及开荒自恰当历史聘用机制，让系统冒失自动判断现时画面是否依然敷裕澄澈，如故需要更多历史信息援助。

归根结底，这项参谋告诉咱们一件看似淘气却时常被薄情的事情：关于机器东说念主来说，"知说念我方刚才作念了什么"和"看澄澈目下是什么"相同遑急。一个只盯着当下的系统，就像一个莫得短期记挂的厨师，每次回身齐可能健忘刚才依然完成了哪一步。IntentVLA通过一种轻量且高效的模式，给机器东说念主补上了这段重要的"短期记挂"，在多个基准测试上带来了实的确在的性能栽种。诚然，这还仅仅迈出了第一步——机器东说念主要真实领有隆重可靠的操作智商，还有很长的路要走。感意思意思的读者不错通过arXiv编号2605.14712查阅完整论文，赢得更多技能细节和实验数据。

Q&A

Q1：AliasBench和普通机器东说念主测试基准有什么区别？

A：普通基准测试主要有计划机器东说念主能不可完成一个任务，而AliasBench专诚测试机器东说念主在"现时画面相似但下一步动作不同"的期侮时刻是否能作念出正确判断。它包含12个用心联想的任务，隐蔽来回、旅途交叉、双臂协调和多主见四类期侮场景，并配有专诚的量化目的来讲授这种视觉期侮如实真实存在。

Q2：IntentVLA的历史记挂是奈何存储和使用的？

A：IntentVLA不是把当年的完整画面全部存下来，而是用VGGT模子对最近约16帧历史画面提真金不怕火绝顶紧凑的特征——每帧只保留5个向量，分别纪录摄像头朝向变化和场景几何结构变化。这些特征通过门控交叉凝视力机制与现时画面信息交融，再荒谬压缩成一个单向量摘录，共同组成动作决策的条目输入，整个经由不需要东说念主工标凝视图标签。

Q3：ICC-L2目的是什么风趣，为什么遑急？

A：ICC-L2有计划的是机器东说念主在相邻两次"重新预备"时，对团结个改日时刻展望的动作是否一致。如若机器东说念主每次重新预备齐产生大幅不同的动作展望，评释它在反复"变节"，反覆无常，履行履行时就会出现挂念、踌躇等不隆重时势。IntentVLA将这一目的镌汰了约17.6%，评释它不仅提高了到手率，还从根蒂上减少了这种意图扭捏的行动。