2026年8月6日下午，SLAI Seminar第四十七期在深圳河套学院顺利举办。本次讲座由任洪亮教授主持，特邀穆罕默德・本・扎耶德人工智能大学（MBZUAI）机器人方向宋超阳博士主讲。报告以“柔性触觉驱动的视觉形变感知”为题，围绕视觉形变感知、柔性触觉设计和机器人学习，介绍了团队如何利用单一视觉输入获取丰富的触觉与环境信息，并将其应用于跨肢体、跨技能和跨场景的机器人任务。

讲座内容

01 柔性触觉与视觉形变感知

宋超阳博士首先从机器人抓取的典型流程出发：传统系统通常依赖外部视觉完成目标识别、位姿估计和动作规划，触觉信息往往只在末端接触后发挥作用。团队希望进一步把“触觉”引入感知和操作的更多环节，使机器人在接触物体时既能感知自身形变，也能理解与环境之间的物理交互。

为此，团队设计了一类由几何结构形成的柔性触觉单元。其关键能力并不单纯来自材料，而来自结构本身的形变特性：无论从哪个方向接触物体，结构都可以顺应表面产生全向适应。

安装在底部的相机能够实时观察整个形变过程，同时保留部分外部环境视野。相比需要封闭腔体的传统视觉触觉传感器，这种开放式设计更容易适应不同安装方式，也表现出较高的耐久性，在百万次压缩测试后仍能保持工作能力。

02 一个相机获得多模态感知

在获得稳定形变后，团队进一步利用学习算法从图像中提取多种信息。通过标记点、无标记视觉特征或实时分割等方法，系统可以估计六维力和力矩、重建手指形变、判断接触位置，并跟踪接触点的变化。针对柔性材料长时间受力产生的黏弹性变化，模型也可以识别细微形变并进行补偿，使抓握更加稳定。

更进一步，开放式结构让同一相机不仅看到手指自身，也能看到外部场景。团队利用实时分割和图像修复重建被手指遮挡的区域，再结合目标检测、深度估计等视觉算法，同时获得环境信息和触觉信息。由此，原本需要多种传感器完成的任务，可以在同一套结构、相机和计算流程中完成，降低系统复杂度和运行成本。

03 跨场景应用与通用交互接口

基于上述触觉单元，团队探索了陆地与水下抓取、形状重建、工业焊接和人机协作等多种应用。在抓取过程中，柔性手指能够根据外界扰动实时增加握力，同时避免对橙子等柔软物体造成损伤；在水下，即使视觉环境浑浊，系统仍可以通过结构形变判断是否接触并抓住物体，并进一步用于水下物体形状感知。团队还将该结构用于焊接过程中的接触引导，探索以更简单的触觉方案替代部分昂贵的工业测量设备。

报告最后，宋超阳博士介绍了团队持续构建的asMagiClaw系统。该系统将柔性触觉手指与移动设备结合，用于采集人类示教中的运动、力和外部环境信息，也可以作为机器人遥操作接口。团队希望通过共享的软硬件组件，让同一套感知与交互方式能够迁移到机械手、移动机器人和人形机器人等不同平台。

交流环节，现场师生围绕柔性触觉结构的设计选择和适用范围展开了讨论。针对“为什么主要利用手指中部的形变，而不是直接在指尖增加传统触觉传感器”，宋超阳博士表示，这是有意做出的技术区分：现有指尖视觉触觉方案已经较为成熟，而团队更关注开放式结构在感知自身形变和外部环境方面的能力；如果具体任务需要，也可以在指尖进一步增加专用传感单元。对于“全向适应能力主要取决于柔性材料还是结构设计”这一问题，他指出，核心来自几何结构形成的超材料特性，而不是某一种特定材料。根据抓取重量和应用环境，可以选择不同软硬度的材料，只要结构在合理弹性范围内工作，都可以保持相应的适应能力。

本期seminar宋超阳博士从机器人接触过程出发，介绍了如何通过柔性结构与视觉学习，将形变、力觉和环境信息统一到一个感知系统中。结合水下抓取、工业操作和人机交互等实例，展示视觉形变感知在降低传感成本、提升场景适应性和构建通用具身交互接口方面的潜力，为机器人从“看见环境”进一步走向“感知接触”提供了新的思路。