悟能 – 商汤科技推出的具身智能平台

悟能是什么

悟能是商汤科技推出的面向机器人和智能设备的具身智能系统。平台基于商汤的“开悟”世界模型，结合多模态大模型技术，赋予机器人强大的感知、决策和行动能力。平台包含感知层（视觉、语音、触觉等多传感器输入）、决策层（LLM+世界模型协同规划）和行动层（端到端控制机械臂和移动底盘）。平台能赋能机器人等各种终端硬件，支持嵌入端侧芯片，适配多种场景，能生成多视角视频，构建4D真实世界，实现复杂任务的自主执行。

悟能的主要功能

• 感知功能：
  • 多模态感知融合：基于视觉、语音、触觉等多种传感器输入，实现对环境的全面感知和理解。
  • 环境感知：实时识别物体、人物和空间布局，为决策提供准确的环境信息。
• 决策功能：
  • LLM与世界模型协同：结合大语言模型和世界模型，实现语言理解和物理世界知识的融合，制定合理的行动策略。
  • 任务规划：根据任务目标，生成详细的执行计划，确保任务高效完成。
• 行动功能：
  • 端到端控制：精准控制机械臂和移动底盘，实现复杂动作的精确执行。
  • 动作执行与反馈：在执行任务过程中实时调整，确保任务的灵活性和可靠性。
• 场景适配性：支持嵌入端侧芯片，适配多种智能设备和场景。

悟能的技术特性

• 分层设计：感知层、决策层和行动层的分层设计，让系统结构清晰，便于开发和优化。
• 模块化：各层内部基于模块化设计，支持灵活的扩展和定制化开发。
• 协同工作：各层之间基于高效的通信机制紧密协作，确保系统的整体性能。
• 实时性：支持实时数据处理和反馈，确保系统能够快速响应环境变化。
• 安全性：在关键功能上设计多重安全冗余，确保系统在异常情况下仍能安全运行。

悟能的应用场景

• 家庭服务：协助完成家务任务（如扫地、整理），同时提供陪伴互动，提升家庭生活质量。
• 工业自动化：在物流仓库中自动搬运货物，优化生产线上零部件的装配和质量检测，提高效率。
• 自动驾驶：实时感知路况，提供自动驾驶辅助功能，如自动泊车、紧急避让，提升驾驶安全性。
• 医疗护理：协助患者进行康复训练，监测病房患者状态，为医护人员提供辅助支持。
• 商业服务：在商场中为顾客提供购物建议，协助导购，同时进行实时安防监控，保障商业场所安全。