Feature Reading

RoboTwin第一、RoboDojo领跑:Physical AI的下一轮Scaling,为什么是Physics?

将文章核心主题、阅读路径与关联内容进行更清晰的组织,帮助用户以更流畅的节奏进入正文。

RoboTwin第一、RoboDojo领跑:Physical AI的下一轮Scaling,为什么是Physics?
Sports Insight

当前位置

当前正在查看文章详情,可沿路径返回栏目页或继续切换其他内容。

RoboTwin第一、RoboDojo领跑:Physical AI的下一轮Scaling,为什么是Physics?

近日,厘清智能创始人、清华大学人工智能学院李一鸣教授团队发布了两项 Physical AI 研究成果:世界动作模型 PrismWAM,以及面向机器人执行诊断与持续改进的 Agentic 框架 RoboDoctor。 PrismWAM 从模型层面探索如何更好地表征物理状态、预测状态变化并生成动作,在 RoboTwin 2.0 评测中以领先优势位列第一;RoboDoctor 则从系统层面探索如何利用执行反馈进行诊断、纠错与经验积累,在覆盖 RoboDojo 全部 54 项任务的测试中取得 57.1 分,位居当前对比首位。 过去几年,人工智能的进步,很大程度上来自对语义智能的规模化扩展——更大的模型、更多的数据、更强的理解与推理能力。然而,随着 GPT-6 Astra、Gemini 等通用基础模型不断展现出更强的理解、推理与规划能力,一个更根本的问题正在浮现:让机器人理解世界,和让机器人真正改变世界,是两种不同的能力。 理解一条指令,不等于知道如何施力;识别一个物体,不等于理解它在接触、运动与受力中的变化;规划一条看似合理的路径,更不意味着机器人能够在真实环境中将任务可靠地完成。 这正是 Physical AI 下一阶段的关键命题:Scaling Semantics,还是 Scaling Physics? 前者让模型拥有更广泛的知识、更强的语义理解与任务推理;后者则让模型真正理解物理状态与动作后果,让机器人能够感知变化、应对不确定性,并在失败中持续纠正并自我改进。 两项工作分别从模型与系统两个层面探索 Scaling Physics:PrismWAM 研究物理状态如何被表征、预测并转化为动作;RoboDoctor 进一步研究动作进入真实执行后,系统如何利用物理反馈诊断偏差、纠正动作并积累经验。 一、语义与物理的解耦让物理状态变化参与动作生成 当语义理解逐渐成为通用能力,机器人还需要什么样的世界模型? 近年来,视觉语言模型与视频生成模型的发展,为通用机器人策略提供了新的基础。世界动作模型(World Action Model,WAM)进一步尝试将未来世界状态预测与机器人动作生成结合起来,使机器人不仅能够根据当前观测选择动作,还能够学习动作与未来状态变化之间的关系。 但现有方法也面临一个值得重新审视的问题:我们是否应该把世界的外观,当作世界状态本身来建模? 一段 RGB 视频同时包含了大量不同性质的信息:物体的颜色、纹理、光照与背景,物体的几何形状、空间位置、接触关系,以及它们在动作作用下发生的变化。这些信息在图像中交织在一起,却并不具有相同的控制价值。 对于机器人而言,理解“这是一个杯子”与判断“杯口在哪里、瓶子应当如何倾斜、接下来会不会洒出液体”,是两类不同的问题。前者主要涉及语义识别与任务理解,后者则要求系统准确把握几何关系、物理状态及其随动作演化的过程。 视频模型特征中包含了语义和物理等多重信息 随着通用基础模型越来越擅长理解场景与任务,Physical AI 的研究重心也有必要进一步向物理层深入:与其让同一个表征承担所有任务,不如明确区分语义信息与物理状态,让不同信息各自服务于最适合的目标。 PrismWAM:从“预测世界看起来怎样”到“建模世界如何变化” 围绕这一思路,李一鸣团队提出了 PrismWAM(Prismatic World Action Model)。 PrismWAM 的核心洞察,是将语义上下文(Semantic Context)与物理状态(Physical State)解耦,不再把外观丰富的视频特征视为统一的物理世界状态,而是建立一条职责清晰的注意力链路:Semantic Planning → Physical Rollout → Executable Action Semantic Planning:理解任务意图。模型从 RGB 观测中学习任务语义与目标场景,回答“最终应该发生什么”。 Physical Rollout:建模物理演化。模型通过深度表征预测连续的几何状态变化,刻画物体如何移动、空间关系如何改变,以及任务如何逐步接近目标。 Executable Action:生成可执行动作。动作生成直接利用物理演化表征,将状态变化转化为机器人可以执行的连续控制。 PrismWAM 概念示意 在这条链路中,信息从 RGB 语义表征流向深度物理表征,再进入动作生成;动作模块并不直接读取 RGB 特征。使模型把更多建模能力用于几何结构和空间状态的变化。接触与受力能在多大程度上被准确预测,仍需通过具体任务和实验结果检验。 传统世界动作模型与 PrismWAM 的架构对比 这一设计背后,是对 Physical AI 中一个更本质问题的探索:模型究竟应该学习世界的哪些变化,才能更有效地控制世界? 如果任务语义越来越多地成为

about image
觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读

Search
热点新闻
丹麦赛:国羽独苗晋级四强!梁伟铿/王昶2-1逆转前世界第1
丹麦赛:国羽独苗晋级四强!梁伟铿/王昶2-1逆转前世界第1

超级750级别的丹麦羽毛球公开赛,在经历两轮的鏖战之后,国羽在男双赛场就只剩下梁伟铿/王昶这一对组合,独自扛起了争冠的重任,正赛第四个比赛日,梁王组合迎来了1/4决赛的考验,对阵马来西亚王牌吴世飞/伊祖丁,本场比赛梁伟铿/王昶在首局饮恨的情况下,连赢两局逆转了吴世飞/伊祖丁,昂首晋级男双四强。 比赛看点 作为常年稳居世界前十的男双组合,吴世飞/伊祖丁巅峰时期也坐上过世界第一的宝座,本赛季二人的表现

北京青少年冰球俱乐部联赛开赛,首次开放外省市运动员个人报名
北京青少年冰球俱乐部联赛开赛,首次开放外省市运动员个人报名

新京报讯(记者孙海光)10月17日,2026-2027北京市青少年冰球俱乐部联赛在全市5个场馆同步开赛。本届联赛覆盖U6至U18共13个年龄组别,来自25个冰球俱乐部的186支队伍、2400余名运动员参赛,并首次面向外省市冰球运动员开放个人报名通道。 本届俱乐部联赛共将进行约1400场比赛。 北京市冰球运动协会供图 作为亚洲规模最大的青少年冰球赛事,俱乐部联赛今年迎来连续举办的第15个年头,成为北

前裁判:皇马-塞维比赛的回放画面糟糕,居莱尔本可能会被罚下
前裁判:皇马-塞维比赛的回放画面糟糕,居莱尔本可能会被罚下

直播吧10月19日讯 据《每日体育报》报道,北京时间今晨,本赛季西甲第9轮,皇马主场4:1击败塞维利亚,比赛中主裁/VAR对居莱尔疑似肘击对方球员佩克・费尔南德斯的判罚引发争议——主裁只给了居莱尔一张黄牌,视频助理裁判回看了这次犯规动作,但没有叫主裁判到场边的监视器复核。 前塞维利亚球员佩佩・普列托直言:“VAR 胆怯了。” 这次比赛的转播嘉宾马诺洛・拉马也持相近观点。 前裁判伊图拉尔德・冈萨雷斯

双线领跑!曼城官媒晒本赛季男女足联赛积分榜,皆全胜居榜首
双线领跑!曼城官媒晒本赛季男女足联赛积分榜,皆全胜居榜首

就在刚刚,曼城官方社媒晒出男、女足的联赛战绩海报,庆祝两支球队均以全胜战绩领跑各自联赛,并配文:“位居榜首⬆️”。 根据海报,曼城男足在本赛季英超前7场比赛中取得全胜,积21分排名第一,领先身后的阿森纳3分。 女足方面,曼城在本赛季女足英超前6场比赛中同样保持全胜,积18分位居榜首,领先排名第二的切尔西2分。 两支球队合计取得联赛开局13场全胜,曼城也在海报中分别以“7战7胜”和“6战6胜”突出展

猝死跑者家属征集线索,会是个什么结局
猝死跑者家属征集线索,会是个什么结局

国庆假期,各地人流如织,敢利用假期办马拉松的,那是需要莫大勇气的,因为交通、住宿等都会是大问题。我看了一下,七天长假中,有四场马。 10月6日的天津武清半马,是最后一场。冲刺后,有名跑者倒地未能起来,让人扼腕。这两年来,大家对马拉松比赛中的猝死,已经理性了很多。每次事发,除了惋惜、警醒外,并没有多少空间去探讨了。 这事在10月8日有了新变化,家属发布“求助征集”,表示对事发经过、现场抢救是否进行或