云霞资讯网

轻舟智航于骞聊 VLA 、世界模型和端到端:于骞:VLA 本身它也是端到端,它只

轻舟智航于骞聊 VLA 、世界模型和端到端:于骞:VLA 本身它也是端到端,它只是更进一步,把语言的能力结合到模型里面去了。相比端到端,我有一个比喻:端到端更像是「知其然」,你从输入拿到输出,知道应该怎么做。但是VLA更多是「知其然」,还有「知其所以然」,你要把背后的逻辑规律能够讲出来,而且能够举一反三。它有更好的泛化性能,更好的可解释性,能够像人类一样去学习物理世界的模型行动规律。我觉得 VLA 肯定是一个非常好的技术范式,其实我相信未来大家可能都是 VLA。就好像深度学习,大家都是深度学习,还有谁不是深度学习的模型吗?应该不会。端到端也是,在自动驾驶领域是「质变」的一件事,我相信 VLA 也是,就大家都是VLA,但 VLA 也有用得好和用得不好。当然 VLA 之后,我相信之后还会有更新的技术范式。————————————聊世界模型:在机器人领域,世界模型可以上车,端侧要做很多世界模型的工作。但我反而认为在自动驾驶领域,世界模型最大的用处是在云端。你一定要在云端能够真实地反映物理世界的情况,能够在云端把世界模型做得非常好,使得训练的效率、问题修复的水平能够大幅提升,这是最需要解决的。当然你说它能不能在车端跑或者端侧跑,我相信是可以的,但首先它要能够在云端大范围解决训练问题。如果你真的在云端实现了世界模型非常好的效果,驾驶体验会非常快速地飙升,是指数级的提升。因为你可以在虚拟环境中做大量的训练和验证工作。我对世界模型的看法是,首先它要在云端解决很多实际问题。当然现阶段来讲,目前还没有真正做到完全可以在云端100% 地复现物理世界中的一切,可能解决一部分问题,现在是这样的状态。注:于骞很认可世界模型,轻舟内部也有实践。