麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员创造了一种可预测性的AI，它允许机器人以与人类相同的方式连接多种感官
麻省理工学院CSAIL的雷切尔戈登说：“虽然我们的触觉让我们有了感受物理世界的通道，但我们的眼睛帮助我们立即理解这些触觉信号的全貌”。在机器人中，此连接是不存在的。为了弥补这种缺陷，研究人员开发了一种可预测性人工智能AI，能够以“通过触摸看”和“通过观察感受”来学习，这是一种将未来机器人的视觉和触觉联系起来的方式
使用KUKA机器人手臂和一个名为GelSight（另一个MIT创作）的触觉传感器，该团队使用网络摄像头记录了近200个物体。这些物体包括工具，织物，家用产品和人类每天定期接触的材料
该团队使用机器人手臂触摸物品超过12,000次，将每个视频片段分成静态帧以提供进一步分析。换句话说，研究人员在其数据集中取出超过300万个视觉/触觉进行图像配对
CSAIL博士学生兼首席作者李云柱在一篇关于该系统的新论文中说道：“通过观察现场，我们的模型可以想象触摸平坦表面或锋利边缘的感觉。通过盲目地触摸，我们的模型可以纯粹从触觉中预测与环境的相互作用”
对于人类来说，这是很自然反应。我们只需要触摸一次物体，在以后接触它时就知道这种物体的感觉。在机器人中，它可以减少人工对机械任务的输入，例如翻转开关，或者决定最安全的拾取包裹的位置。
据李云柱说：
将这两种感官结合在一起可以增强机器人的能力并减少我们在涉及操纵和抓取物体的任务时可能需要的数据
通过参考数据集中的图像，未来的机器人手臂 。例如用于组装汽车或移动电话的机器人 ，可以通过将前面的对象与数据集中的对象进行比较来即时预测。一旦执行操作，手臂可以轻松识别提升，弯曲或以其他方式操纵物体的最佳位置。
麻省理工学院的当前数据集建立在受控环境中的交互之上。该团队希望通过收集更多非结构化区域中的数据来进一步改进，以进一步构建数据集
