[LG]《Can AI Perceive Physical Danger and Intervene?》A Jindal, D Kalashnikov, O Chang, D Garikapati... [Google DeepMind Robotics] (2025)
AI在物理世界的安全感知迎来新突破:ASIMOV-2.0基准测试全面评估多模态AI模型的物理风险识别与干预能力。
• 多模态安全基准:覆盖文本、图像和视频,基于真实医院伤害记录与工业安全标准,模拟“长尾”低概率高风险场景,助力AI理解复杂物理安全环境。
• 细致安全问题设计:包括潜在风险识别、风险严重度评估、行为安全影响判定及干预时机预测,推动AI从被动识别向主动干预转变。
• 模态与体现差距明显:主流大模型(GPT-5、GEMINI-2.5 PRO、CLAUDE OPUS 4.1)在文本理解上表现优异(>90%准确率),但图像/视频风险识别准确率显著下降,且模型往往忽视物理限制(如机械手抓取约束)导致高达75%违规率。
• 推理“思考”机制提升安全决策:增加推理计算预算显著降低违规率,小模型受益更大;通过有监督微调和强化学习,模型生成结构化、简洁的安全推理链,精准遵守物理约束,违规则降至最低。
• 长期价值:基准将持续更新,支撑AI系统达成国际工业安全标准(IEC 61508、ISO 13849-1),为未来机器人和智能助理的安全部署奠定坚实基础。
心得:
1. 物理安全理解远非文本能力的简单延伸,视觉和时序理解是关键瓶颈。
2. 体现特定物理限制的知识缺失,是导致AI安全失误的根源,强调跨模态融合与体现感知。
3. 简洁且结构化的思考输出比冗长链式推理更能促进安全行为决策。
了解详细评测与基准开放👉 arxiv.org/abs/2509.21651
人工智能 机器人安全 多模态学习 物理安全 智能推理