云霞资讯网

清华天眸芯团队再登Nature系列期刊封面,用类脑互补视觉范式来重塑机器人感知世

清华天眸芯团队再登Nature系列期刊封面,用类脑互补视觉范式来重塑机器人感知世界的方式。

当下,多模态大模型、世界模型与具身模型不断发展,但开放世界中的视觉退化的问题却出现。如何在有限硬件资源下获取高质量视觉信息,为机器人和具身智能提供可靠感知基础,已成为 Physical AI 发展的关键问题。

研究借鉴人类视觉原语的自监督表征构建与内部模型(Internal Model)形成机制,将互补视觉扩展为一个可学习、可迁移、可 Scaling up 的完整技术体系。

研究建立了基于天眸数据构造视觉原语的方法,并提出了无需真值标注的退化数据自监督表征学习框架,使模型能够直接从真实退化数据中学习有效视觉表示,再高效迁移到不同下游视觉任务。具身智能机器人