这项由北京东说念主工智能运筹帷幄院（BAAI）主导完成的运筹帷幄，以预印本口头于2026年4月30日发布在arXiv平台，论文编号为arXiv:2604.27711。运筹帷幄恶果被定名为"ExoActor"，代表着一种让东说念主形机器东说念主无需会聚真的全国操作数据，仅凭"设想履行视频"就能完成各种复杂任务的全新框架。
你有莫得想过，如若一个东说念主从来莫得进修过某个动作，只是看了一段别东说念主作念这个动作的视频，他能不可就此学会并亲身完成？这个问题对东说念主类来说有些拼凑，但对机器东说念主边界的运筹帷幄者来说，正巧涉及了现时一个最中枢的难题：如何让东说念主形机器东说念主在莫得大齐专项磨真金不怕火数据的情况下，照样完成千般各样复杂的施行任务？
昔日几年，东说念主形机器东说念主技巧迅速发展，各种学习型限定系统推而广之。联系词，当运筹帷幄者真的但愿机器东说念主能在真的家庭或责任环境中与物体、环境解析互动时，破裂就出现了——要同期贯穿空间位置、动作时序、任务意图，还要能随机应变，对现存系统来说实在太难了。更清贫的是，每换一个场景或任务，就需要从新会聚大齐真的数据来"补课"，代价极高，遵守极低。
北京东说念主工智能运筹帷幄院的团队给出了一个念念路清奇的解法：既然大范畴视频生成模子还是能够把柄翰墨描述，生成终点传神的东说念主类行动视频，那何不让机器东说念主先"设想"我方如何完成一项任务——生成一段对应的第三东说念主称视角视频，然后再从这段视频里索求动作信息，最终驱动机器东说念主真的去完成这个任务？
这套系统的中枢成见，就像是给机器东说念主装上了一个"脑海中的排演室"。在真的上场之前，机器东说念主先在脑子里把通盘动作经由演练一遍，把演练画面"拍"成视频，再把视频里的东说念主体动作解析成机器东说念主能径直履行的畅通指示。通盘过程不依赖任何任务专属的真的操作数据，统统由生成式AI的设想力驱动，由通用畅通限定器崇敬落地履行。
一、从"设想"到"行动"：ExoActor的三步走经由
要贯穿ExoActor如何运作，不错把通盘系统比作一位专科导演在拍摄一部动作短片的过程。导演拿到脚本（任务指示），先不雅察一下拍摄现场（启动场景图像），接着创作出一段好意思满的动作视频（视频生成阶段），然后把视频里演员的每一个动作齐精确测量纪录下来（动作揣摸阶段），终末把这些测量数据交给真的的演员——也等于机器东说念主——去现场还原（畅通履行阶段）。
第一步是生成视频，这是通盘框架最具创意的部分。给定一个任务描述和现时场景的第三东说念主称图像，系统需要生成一段展示任务履行过程的视频。联系词，径直让视频生成模子去生成机器东说念主完成任务的画面，频频会出现大齐奇怪的伪影——机器东说念主的躯壳变形、动作断断续续、画眼前后不连贯——因为这类模子险些统统的磨真金不怕火数据齐是真的东说念主类的行动画面，对机器东说念主外形统统不老到。
为了处分这个"说话欠亨"的问题，团队遐想了一个闪避的预处理轨范：把场景图像里的机器东说念主，先用AI图像剪辑器具"伪装"成一个真东说念主。这位"替身演员"衣服紧身畅通服，保持机器东说念主原来的姿势、位置和面朝标的，躯壳比例也特地参照了机器东说念主的特征——体态较矮，腰部纤细，算作修长。通盘场景的布景、光辉、胪列一律保持原样不变，只是把金属机器东说念主换成了看起来像真东说念主的图像。这个过程通过Gemini 3.1 Pro的图像剪辑功能完成，教导词中严格要求保持姿势一致性。
完成"机器东说念主变东说念主"的替换之后，系统还需要把高等次的任务指示领会成一系列具体可履行的中间轨范。举个例子，"把你眼前的棕色箱子捡起来然后站直"这么的指示，会被GPT-5.4 Thinking领会为：走近箱子、弯腰、收拢箱子、抬起箱子、收复馈赠姿势——每一个轨范齐是肉眼可见、物理上可达成的独处动作。这些领会后的轨范鸠合场景描述，组成一段细心的视频生成教导词，明确指定了录像机视角固定、场景不变、动作当然连贯、任务完成景色了了等要求。视频生成则主要取舍了Kling 3，这是一款在康健性和视觉一致性方面阐扬最优的商用视频生成API，对比测试中另外两款模子Veo 3.1和Wan 2.6齐因畅通漂移、物体交互不当然等问题而阐扬失神。
第二步是从生成的视频里索求动作数据。这一步终点于把视频里那位"替身演员"的每一帧动作齐精确扫描成三维数字模子，然跋文录下好意思满的畅通轨迹。技巧上，团队使用了GENMO这一扩散模子，它不是简便地逐帧预计姿势，而是把整段视频的特征和二维缺欠点作为条目信号，生成在时辰上连贯、物理上合理的三维东说念主体畅通序列，并用SMPL东说念主体模子参数（包括各关节旋转角度和全局位置）来暗意。关于视频中讳饰帧，模子还会自动进行时辰插值填补，确保畅通轨迹平滑。
仅有全身动作还不够，机器东说念主要提起和放下物体，还需要精确的手部动作数据。团队荒芜使用了WiLoR这一器具，对生成视频逐帧分析，收复双手的三维姿态。每帧视频产生一组手部数据，开云体育(kaiyun)官网包括傍边手各自的姿势描述，以及对应的交互景色：统统展开、半展开照旧抓紧。这个信息随后被泛动为机器东说念主结尾履行器（即机械手）的限定指示。值得一提的是，针对镜头里东说念主物正面朝向录像机照旧背对录像机这两种情况，手部傍边的识别逻辑是不同的，这么遐想是为了幸免"傍边手认错"的问题。
第三步是让机器东说念主真的去履行这些索求出来的动作。这里的难点在于，从视频中揣摸出的畅通轨迹只是一堆几何数据，并不包含力的信息——它不知说念机器东说念主的关节最大能转几许度，也不知说念保持均衡需要若何合营要点。团队取舍了SONIC这一通用畅通追踪限定器来处分这个问题。SONIC的作用，访佛于一个教授丰富的"动作翻译官"：它继承参考畅通轨迹，同期感知机器东说念主现时的躯壳景色，在餍足物理不断的前提下，尽可能诚恳地还原参考动作。即使参考轨迹里有一些不太当然的跨越或抖动，SONIC也能在不让机器东说念主失去均衡的情况下康健履行。团队经过测试发现，在视频揣摸动作和真的机器东说念主履行之间加入荒芜的动作重定向轨范（即尝试将东说念主体比例的动作精确地映射到机器东说念主骨架比例上），反而会带来显明的空间偏差——机器东说念主步行步幅变了，全体轨迹也偏了。于是最终有策画是径直把揣摸动作喂给SONIC，让SONIC自行处理细节，这么在精度上反而更好。
二、不同难度关卡的实战试验
为了考据ExoActor的骨子材干，运筹帷幄团队专门遐想了一套由易到难的任务体系，分为B级（简便）、A级（中等）和S级（费劲）三个难度档。这套体系就像游戏里的关卡遐想，每升一级，机器东说念主需要处理的交互复杂度就会显赫进步。
B级任务主要考验基础导航材干，机器东说念主只需要走到指定地方或绕开简便破裂，比如"走到白色桌子前边的篮子足下停驻"，或者"从椅子左侧绕出去"。这类任务的中枢是试验系统能否把生成视频里的行走轨迹准确泛动为康健的机器东说念主步行动作，同期准确到达主义位置。实验收尾标明，机器东说念主在这类任务上阐扬康健，不错可靠地向主义物体围聚并完成定位。
A级任务在导航基础上增多了粗粒度的物体交互，不要求精确的抓抓，但需要合营全身动作。团队测试了多种场景，包括把桌上的瓶子拨到垃圾桶里、走到椅子旁坐下、弯腰捡起箱子然后站起来、折腰钻过警戒线、跨过破裂物，以及用布擦桌子等。这些任务要求机器东说念主把行走和全身动作合营起来，同期与周围物体或环境发生故意念念的构兵。系统在这个难度档展示出了一定的多步步履履行材干，体现了视频生成中对永劫程交互场景的贯穿和抒发。
S级任务是通盘框架面对的最大挑战，乐鱼体育官网需要缜密操控和多轨范的手眼合营。具体任务包括：从玄色椅子上捡起绿色瓶子并训诲放到桌上、从白色架子上提起玄色雨伞放入桌上的篮子、把瓶子竖直放入篮子、从桌上提起瓶子扔进垃圾桶等。这些任务既要走到顺应位置，又要用手精确地收拢特定物体并准确扬弃。实验中，机器东说念主总体上能完成这类任务，但存在一个显明的局限：由于畅通揣摸敌手部高度的判断存在非常，机器东说念主偶而无法准确地抓到主义物体。团队为此采选了一个权宜之策，在主义物体下方垫上小撑持台，让物体略微举高一些，以抵偿这个高度偏差。
三、哪些要道容易出问题
任何系统齐不可能绰绰有余，ExoActor也不例外。运筹帷幄团队终点坦诚地纪录了系统在三个主要阶段辞别可能出现的典型失败案例。
视频生成阶段，最常见的问题是模子"阐扬过度"——它会假造生成原来不存在的物体，或者让原有物体的尺寸发生离谱的变化。论文中举了一个具体例子：原来场景里唯有一把小雨伞，视频生成模子却把它设想成了一把大雨伞，导致后续动作揣摸和履行齐出现严重偏差。除此除外，动作序列前后逻辑矛盾、场景设置分歧常理、最终姿态物理上根蒂站不住等问题也时有发生。团队发现，悉心遐想教导词结构和对任务进行轨范领会，不错显赫缩短这类问题的出现频率。
畅通揣摸阶段，最凸起的痛点是手部动作细节的准确性。当手应该保持某种特定标的抓抓物体时——比如竖抓一个瓶子——揣摸收尾频频给出一个横向的腕部朝向。这是因为在单目视频（唯有一个录像机视角，莫得深度信息）中，幽微的腕部旋转提供的视觉印迹终点细小，模子难以准确还原。此外，当视频里东说念主物的某些躯壳部位被桌子、椅子等场景物体讳饰时，对应的三维畅通揣摸就会出现缺失或无理。从后方视角拍摄的场景也会让揣摸精度显明着落，因为背对录像机时的自我讳饰问题尤为严重。
履行阶段，非常主要来自畅通数据与机器东说念主物理不断之间的不匹配。最常见的阐扬等于手部高度对不准——机器东说念主伸手的位置略高或略低，无法正确构兵主义物体。此外皮需要精确走到特定位置的任务中，畅通距离的偏差也会影响任务完成。这些问题在需要精确构兵或抓抓的S级任务中尤为显明。
四、系统运行遵守的真的情况
ExoActor现在是一套离线活水线系统，也等于说，机器东说念主在脱手骨子行动之前，需要等统统上游处理轨范一说念完成。运筹帷幄团队对每个模块的平均耗时进行了细心测量，呈现了一张终点直不雅的数据图景。
机器东说念主变东说念主的图像调治轨范，每次苦求平均需要约10.7秒。任务领会和教导词构建则终点快，每次苦求仅需约2.5秒。视频生成是通盘经由中最耗时的瓶颈要道，每生成1秒钟的视频需要破耗约13.2秒的处理时辰，也等于说生成一段10秒的行动视频大致需要2分多钟。全身畅通揣摸相对高效，处理每秒视频约需2.9秒。手部畅通揣摸则是第二大耗时要道，处理每秒视频需要约16.4秒，比全身揣摸慢了约五倍多。
这组数据讲明，在现时版块的ExoActor中，如若要履行一个10秒的任务，光是"设想"和"解析"这个任务就需要破耗数分钟的准备时辰，然后才能真的脱手履行。这关于需要及时响应环境变化的场景来说是显明的截至，但关于那些不错提前贪图、场景相对康健的愚弄场景而言，这个代价在现时阶段是不错经受的。
五、这套法子还能奈何进化
运筹帷幄团队在论文中细心推敲了现时达成的多项局限，以及改日不错改良的具体标的，这部安分容反应了他们对通盘运筹帷幄阶梯的深度念念考。
最中枢的一个问题是：现时系统是统统开环的，机器东说念主在履行过程中不会感知周围环境的变化，只是机械地播放事先生成的动作轨迹。一朝场景里出现了不测情况——比如物体被碰歪了、大地有个破裂——机器东说念主统统感知不到，也无法调治。改日的改良标的是建立闭环的、具备场景感知材干的全身限定机制，让机器东说念主在履行时能不竭不雅察环境，用生成视频提供的参考轨迹作为高等次的步履指导，同期把柄及时传感器数据随时微调脚步位置、躯壳姿态和手部动作。
另一个病笃标的是让视频生老本人更"懂物理"。现时模子擅永生成看起来很真的的画面，但并不真的贯穿物理章程——物体会穿模、构兵关系分歧理、动作违犯畅通学不断等问题时有发生。运筹帷幄团队觉得，改日需要把物体不灭性（物体不会假造销亡）、构兵能源学、几何一致性和畅通不断等物理常识更潜入地融入视频生成模子的磨真金不怕火中，同期评估方针也应该转向物理可行性和可履行性，而不单是是视觉质料。
从离线批处理迈向在线流式处理，亦然一个值得期待的改良标的。改日的系统不错不再等整段视频生成完结再脱手履行，而是在机器东说念主行动的同期，不竭生成短时辰窗口内的下一步预计视频，达成"边想边作念"的动态贪图，让机器东说念主能够应付环境的及时变化。
此外，现时系统要求必须有第三东说念主称视角的外部录像机来拍摄启动场景，这在许多骨子环境里并回绝易餍足。运筹帷幄团队指出，改日一个病笃标的是磨真金不怕火能够从机器东说念主自身捎带的第一东说念主称录像头视角，重建或推断出第三东说念主称视角画面的模子，从而开脱对外部固定录像机的依赖。
运筹帷幄团队还漠视了"以机器东说念主为中心的视频生成"这一长期构想。现在的有策画先把机器东说念主"伪装"成东说念主再生成视频，这个绕路作念法带来了荒芜的不一致性。梦想情况下，视频生成模子应该能够径直以机器东说念主本人为主角生成高质料的动作视频，同期保持动作的解析性和物理合感性，而不是套用东说念主类外形生成后再反向适配。
终末，运筹帷幄团队号召建立调解的视频驱动东说念主形机器东说念主限定基准测试集。现在这个边界的评估十分散布——有的只测视频生成质料，有的只测畅通揣摸精度，有的只测机器东说念主限定效果，缺少重新到尾空洞评估通盘经由的模范。建立这么的基准，关于磋商不同法子之间的真的各异、鼓舞通盘边界快速进步至关病笃。
归根结底，ExoActor作念的这件事，是把"大脑里的排演"和"真的的行动"之间搭了一座桥。这座桥现在还有许多震荡之处——偶而候视频里出现了不该出现的大雨伞，偶而候机器东说念主的手高了几厘米没抓到东西——但它的存在本人就还是意念念重要。它讲明注解了一件昔日看起来有些离奇的事情：一台从未见过某个任务的机器东说念主，只需要让AI"设想"一遍这个任务，再把设想的画面解析成动作指示，就能真的走上去、弯腰、伸手、把东西放进篮子里。
这对通盘东说念主形机器东说念主边界的意念念在于，咱们梗概不再需要为每一个新任务、每一个新场景齐去辛苦会聚大齐真的操作数据了。互联网上海量的东说念主类行动视频，加上不竭进化的视频生成模子，可能等于机器东说念主"学习"如何完成各种任务的最大数据开端。至于这条路最终能走多远，能不可让机器东说念主在真的家庭里生动应付闲居的千般突发情况，则是留给改日运筹帷幄者去陆续探索的通达问题。如若你对技巧细节有更深的酷好，不错在arXiv上通过编号2604.27711查阅好意思满论文。
Q&A
Q1：ExoActor框架为什么要把机器东说念主图像替换成东说念主的图像再生成视频，而不是径直让AI生成机器东说念主动作视频？
A：现存的视频生成模子险些统统磨真金不怕火数据齐是东说念主类行动画面，对机器东说念主外形终点不老到，径直输入机器东说念主图像会导致生成的视频出现躯壳变形、动作断续、画眼前后不一致等大齐问题。把机器东说念主替换成穿紧身服的东说念主形图像，终点于把"外语输入"调治成模子老到的"母语输入"，能让视频生成更康健，后续从视频中索求的东说念主体动作数据质料也更高。
Q2：ExoActor系统在S级复杂操作任务中失败的主要原因是什么？
A：主要原因是畅通揣摸阶段敌手部高度的判断存在非常。视频生成模子生成的画面在视觉上看起来合理，但从单目视频（唯有一个录像机，莫得深度感知）中还原精确的三维手部位置时，高度信息容易出现偏差。这导致机器东说念主骨子伸手的位置比主义物体略高或略低，无法告捷抓抓。现在的临时处分有策画是在主义物体下方垫高撑持台，后续需要从算法层面改良腕部姿态的揣摸精度。
Q3：ExoActor完成一个任务需要多永劫辰准备？
A：现在ExoActor是离线活水线系统，在机器东说念主真的脱手行动之前需要纪律完成图像调治（约10.7秒）、任务领会（约2.5秒）、视频生成（每秒视频约13.2秒处理时辰乐鱼体育官网，10秒视频约需2分多钟）、全身畅通揣摸（每秒视频约2.9秒）和手部畅通揣摸（每秒视频约16.4秒）等轨范，总准备时辰从几分钟到更长不等，现在尚不赈济及时响应。
AG真人国际厅中国官网