Исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) разработали совершенно новый ИИ, который узнаёт и визуализирует предметы по тактильным ощущениям и наоборот – определяет, каким может быть объект или предмет на ощупь, основываясь на визуальном восприятии.
Юньчжу Ли (Yunzhu Li), аспирант CSAIL и ведущий автор разработки системы, утверждает, что этот искусственный интеллект способен помочь роботам лучше обрабатывать объекты реального мира.
«Наша ИИ-модель может представить чувство прикосновения к плоской поверхности или к острым краям, просто осматривая всё вокруг. Она также предсказывает взаимодействие с окружающей средой исключительно по тактильным ощущениям. Объединение этих двух чувств расширяет возможности роботов и сокращает объём данных, которые могут понадобиться для выполнения задач, связанных с манипуляцией и захватом объектов», – заявил Юньчжу Ли.
Учёные использовали роботизированную руку KUKA со специальным тактильным датчиком GelSight для обучения искусственного интеллекта. С её помощью прикоснулись к 200 предметам 12 тыс. раз и записали соответствующие визуальные и тактильные данные. Исходя из этого была создана библиотека из 3 млн визуально-тактильных образов под названием VisGel.
«Это первый метод, который может так убедительно передавать визуальные и тактильные сигналы. Подобные методы могут быть очень полезными для робототехники в случаях, когда необходимо знать насколько твёрдый или мягкий предмет и какое усилие нужно предпринять роботу», – говорит Эндрю Оуэнс (Andrew Owens), научный сотрудник Калифорнийского университета в Беркли.
Свою работу исследователи должны представить на конференции по компьютерному зрению и распознаванию образов (CVPR 2019) на этой неделе.
Источник: TNW