载入中… | 今日精选 · 实时更新
每日精选全球 AI 与科技资讯
编辑部 · 北京时间 每日 08:00 更新
首页

3万小时触觉数据开源,机器人终于有了“手感”

· · 阅读 5 分钟

对于机器人来说,抓取一个鸡蛋而不捏碎,或是在黑暗中拧开瓶盖,一直是个难题。核心瓶颈不在于视觉,而在于触觉——机器人缺乏“手感”。近日,新智具身与复旦大学联合发布三份研究报告,并开源了总计3万小时的触觉数据集与模型。这一举措,为具身智能的精细化操作补上了最关键的一块拼图:让机器人真正“摸”得清世界。

3万小时触觉数据:从“看见”到“摸清”

以往机器人学习主要依赖视觉感知,但视觉在遮挡、光照变化或物体变形时容易失效。触觉则能提供力、纹理、温度、滑动等直接接触信息,是安全操作、精细装配的刚需。然而,收集高质量的触觉数据极其困难——需要传感器、机械臂、操作场景的协同,且数据具有多模态、高维、时序依赖等特点。

新智具身与复旦团队此次开源的触觉数据集,总时长达到3万小时。这相当于一个机器人持续不断地触摸、抓取、滑动、按压超过3年积累的数据量。数据采集覆盖了数百种日常物品(如餐具、工具、水果、织物),以及多种操作场景(如抓取、放置、旋转、捏合、堆放)。传感器类型包括压阻阵列、电容式触觉、力矩传感器等,同时同步记录视觉、关节角度和力反馈,形成多模态对齐的“触觉-视觉-运动”序列。

这一规模在国内外公开的触觉数据集中首屈一指。此前,资源多为实验室小规模或单一任务数据,难以支撑泛化学习。3万小时的数据量,足以让模型学习到触觉信号的时空模式,例如不同材质在滑动时的振动频谱、不同握力下物体的形变响应,从而在未知物体上实现零样本或小样本的触觉预测。

三连发报告:从数据到模型再到应用

此次发布的三份报告,分别对应数据基础设施、核心算法模型和系统应用验证,构成完整的技术闭环。

第一份报告详细介绍了触觉数据采集系统、标注协议和数据集结构。团队设计了一套自动化数据采集流水线:使用七自由度机械臂搭载多种触觉传感器,在设定轨迹下反复操作物体,同时记录高分辨率触觉图、视频、关节角度和力/力矩数据。数据标注采用半自动方式,通过物体三维模型和操作序列自动生成标签,再人工校验。报告还提供了数据集的统计特性、分布情况和基准测试结果,便于后续研究者使用。

第二份报告提出了一种名为“触觉基础模型”的算法框架。该模型基于Transformer架构,将触觉信号、视觉图像和运动指令编码为统一表征,通过自监督预训练捕捉触觉时序中的物理规律。预训练后,模型可微调用于多种下游任务:抓取稳定性检测、物体材质识别、滑动预测、力控路径规划等。实验表明,在6个标准触觉任务上,该模型性能相比现有方法平均提升35%以上,尤其在零样本泛化到新物体时表现突出。

第三份报告则展示了该模型在真实机器人平台上的应用效果。团队在双臂协作机器人上部署了触觉模型,进行精密装配(如插入USB接口、拧螺丝)、柔软物体操作(如叠衣服、捏面团)以及盲操作(仅靠触觉完成抓取)。结果显示,在视觉受限或物体变形场景下,触觉反馈使成功率从不足50%提升至90%以上。同时,机器人能根据触觉信号自适应调整握力,避免损坏脆弱物体。

开源生态:降低门槛,加速产业落地

三份报告所涉及的数据集、模型权重和训练代码均已开源,并在GitHub上提供详细文档和示例。这意味着任何实验室、创业公司甚至个人开发者,都可以直接下载使用,无需重复建设昂贵的采集系统。对于行业而言,这极大降低了触觉感知技术的研究门槛。

触觉感知是具身智能从“实验室炫技”走向“工厂/家庭落地”的关键一环。目前,工业机器人多依赖精密夹具和预设程序,缺乏柔性适应能力;服务机器人则因无法感知接触力而容易伤人。有了大规模触觉数据,机器人可以学习到“轻拿轻放”的直觉,从而在医疗康复、高端制造、物流分拣、家政服务等场景中发挥更大价值。

此外,开源策略也有助于构建技术生态。更多研究者加入触觉建模的优化,更多企业提供真实场景的反馈数据,形成数据-模型-应用的飞轮效应。对比过去几年视觉基础模型的成功(如CLIP、DINO),触觉基础模型有望复制类似路径,成为机器人智能的又一个“新基建”。

此次新智具身与复旦的联合发布,标志着具身智能的触觉感知迈入“数据驱动”时代。3万小时触觉数据,不仅是数字的积累,更是机器人获得“手感”的起点。当机器能真正“摸清”世界,那些需要精细操作的任务,将不再只是人类的手艺。