ARTICLE DETAIL

Fable 5.2 徒手玩魔方?有了大模型,硅谷大厂还缺什么数据

围绕热点动态、专业观察与内容价值展开更细致的整理,让信息不止停留在表面,而是更容易被理解与应用。

深度
效率
专业
可信

Fable 5.2 徒手玩魔方?有了大模型,硅谷大厂还缺什么数据

皇冠新2APP下载入口-赛程比分与球队动态 798 阅读 约 5.5 分钟

编辑|山辉 继 OpenAI 之后,Anthropic 也开始抢机器人公司的风头了。 今天,Anthropic 发布了新模型 Claude Fable 5.2。除了常规的编程、推理能力升级,这次还有一个挺意外的看点:Claude 开始玩魔方、拧瓶盖,甚至能操控机器人画画了。 视频链接:https://mp.weixin.qq.com/s/7x3fdMwJ9Sw08AO7gumq8g 前段时间,OpenAI 的 Astra 就已经在机器人操作任务上秀过一把。如今,Anthropic 也跟了进来。 过去,这些能力还是具身智能公司费尽心思训练专用模型才能实现的。现在,通用基础模型也开始进入这块地盘。 这不免让人担心,机器人公司辛辛苦苦训练出来的模型,会不会有一天也被基础模型「吞掉」? 这个问题已经吵了一段时间,目前还没有定论。但无论最后控制机器人的是通用大模型、VLA 还是世界模型,大家都逃不过一个基础问题: 它们对物理世界的经验从哪里来? 物理经验可以单纯从通用基础模型所用的常规数据中涌现吗?至少前段时间针对 Astra 的一项研究表明:事情没这么简单,OpenAI 在训练过程中可能使用了专门的机器人数据,GPT-6.1 Sol 和 Gemini Argon 也接受了类似训练(参见《GPT-6 Astra 的机器人能力被扒:可能接受过专门训练》)。 也就是说,这轮通用模型在机器人任务上的高光表现,未必是智能凭空涌现,更可能是数据在背后托底。 即使是通用大模型,也需要通过训练数据补足对真实世界的理解。随着模型能力不断提升,具身智能能走多远,越来越取决于背后数据基础设施的支撑。 特别是涉及真实物理接触的数据信息,恰恰是机器人学习精细操作的关键。 触觉数据也因此受到越来越多前沿机器人研究团队的关注。比如 Meta FAIR 推出的 Digit 360 触觉传感器和 SparAsh 触觉模型,就在尝试让机器获取并理解更丰富的接触信息。这也让触觉数据变得越来越重要。 这件事,国内确实有人在认真做。 自成立以来, 简智 一直站在这条产业链的更上游:建设数据基础设施。从第一视角的头戴设备,到戴在手上的数据手套,他们想解决的始终是同一个问题 —— 怎么把人在真实世界里的操作,尽可能完整、准确地变成模型能学的数据。 近日,他们更新了这条产品线,推出了新品: 数据手套 Dex 2.0,和第一视角头戴设备 DAS Ego 2.0 。 围绕第一视角视觉、腕部近场视觉、手部运动与触觉,构建多层次的 Human Data 采集体系。 他们的思路很好理解: 一次真实操作里,看、动、摸从来不是分开发生的。眼睛负责找到目标,手负责接近和抓握,触觉负责告诉你拿没拿稳、有没有打滑。缺了任何一路,模型学到的都只是一个残缺的故事。 而要做到「完整」,就得先想清楚另一个问题:在一次操作里,每一路信息到底扮演什么角色。 在简智的技术路线中,触觉不是一块孤立的新拼图。 第一视角视觉负责记录环境与人体运动,腕部相机进一步补充被遮挡的手部操作细节,外骨骼与触觉传感器则直接测量关节运动和物理接触。 这些信息共同构成完整的多模态 Human Data。尤其是腕部相机的加入,让采集系统能够在保留第一视角环境信息的同时,更接近手指与物体真正发生交互的位置。 而当近距离视觉与高精度触觉数据准确对应时,还可以进一步建立图像、关节运动与接触状态之间的联系,为模型学习精细操作提供更完整的监督信息。 更重要的是, 简智希望让高精度运动与触觉数据成为 Ground Truth,帮助视觉模型建立图像与真实物理接触之间的联系。 换句话说, 不只是让触觉补足视觉看不见的信息,还要让视觉从触觉中学习。 这种思路也改变了数据采集设备的设计逻辑,不再一味追求传感器的叠加,而是根据不同任务的需要,让多种模态相互补充、相互验证,最终提高整个 Human Data 生产体系的有效性。 围绕这一思路,简智推出的 DAS 2.0 数据采集方案,将第一视角视觉、腕部近场视觉、手部关节运动与触觉信息结合起来。不同设备既可以独立使用,也能够根据任务需求灵活组合,在扩大真实场景覆盖的同时,保留精细操作所需的关键物理信息。 Dex 2.0 同时解决了手部运动测量与触觉记录的难题 ,采用约 60g 的侧置外骨骼和约 3mm 的微型仿生关节,将机械结构布置在手指侧面,在尽量减少动作干扰的同时,直接记录关节运动。同时,配合全掌覆盖的半柔性压阻式电子皮肤,还能够同步获取手部与物体接触时的压力信息。 相比需要通过磁场测量间接重建手部姿态的方案,这种直接关节测量路线有助于降低外部磁场及金属环境对姿态估计的影响,同时兼顾运动与触觉数据的精细采集。 DAS Ego 2.0 的升级则集中在两个方向: 更准确地追踪指尖细节,以及更完整地记录全身运动。

about image

觉得有用?分享给朋友

让更多人看到这篇内容

RECOMMENDED READS

推荐阅读