Исследователи Лаборатории искусственного интеллекта и компьютерных наук Массачусетского технологического университета разработали нейронную сеть, которая способна не только определить список ингредиентов по фотографии блюда, но также подсказать, как его готовить. С подробностями работы можно ознакомиться на сайте университета.
Новоиспеченный искусственный интеллект получил название Recipe1M. Сообщается, что для того, чтобы его обучить, ученые предварительно собрали с различных кулинарных сайтов один миллион рецептов (которые включали изображение готового кушанья, список ингредиентов и инструкцию по приготовлению).
Затем специалисты научили нейронную сеть определять блюда по их фотографиям.
На основе натренированной нейросети исследователи создали систему Pic2Recipe. Чтобы получить список ингредиентов и способ приготовления, пользователю достаточно загрузить фотографию искомого яства. Так, к изображению тарелки печенья нейросеть предлагает список ингредиентов из муки, яиц и масла.
Вместе с тем, на данном этапе система далека от совершенства: Pic2Recipe корректно определяет рецепт пищи только в 65% случаев. По словам исследователей, причина столь невысокой точности кроется в различных ракурсах фотографий.
«В основном это проблема правильного масштабирования. Существует множество вариаций фотографий еды: так, фотография может быть сделана крупным планом или с некоторого расстояния. Кроме того, люди могут фотографировать не целое блюдо, а отдельный его элемент или часть», — рассказал один из разработчиков системы Ник Хайнс.
Интересно, что нейросеть лучше всего справляется с печеньями и кексами, поскольку таких рецептов с кулинарных сайтов в базе оказалось больше всего. Хуже всего система распознает смузи и суши.
Помимо этого, нейросеть плохо определяет те блюда, рецепты которых дублируются в базе данных, а также не всегда может точно определить способ приготовления блюда, например, тушили лук или жарили.
Вместе с тем, разработчики считают свое творение достаточно перспективным.
«Мы рассчитываем, что в дальнейшем люди смогут пользоваться улучшенной версией нашего алгоритма, чтобы отслеживать рацион питания в течение дня, определяя точное количество калорий в конкретном блюде, а также узнавать о здоровых привычках и пищевых предпочтениях людей на основе фотографий еды из их аккаунтов в социальных сетях», – заявил один из авторов исследования Хамед Хаддади.
Источники: Techcrunch, The Verge