Нейросеть Recipe1M определяет рецепт блюда по его фото

Нейросеть Recipe1M определяет рецепт блюда по его фото

Исследователи Лаборатории искусственного интеллекта и компьютерных наук Массачусетского технологического университета разработали нейронную сеть, которая способна не только определить список ингредиентов по фотографии блюда, но также подсказать, как его готовить. С подробностями работы можно ознакомиться на сайте университета.

Новоиспеченный искусственный интеллект получил название Recipe1M. Сообщается, что для того, чтобы его обучить, ученые предварительно собрали с различных кулинарных сайтов один миллион рецептов (которые включали изображение готового кушанья, список ингредиентов и инструкцию по приготовлению).

Затем специалисты научили нейронную сеть определять блюда по их фотографиям.

На основе натренированной нейросети исследователи создали систему Pic2Recipe. Чтобы получить список ингредиентов и способ приготовления, пользователю достаточно загрузить фотографию искомого яства. Так, к изображению тарелки печенья нейросеть предлагает список ингредиентов из муки, яиц и масла.

Вместе с тем, на данном этапе система далека от совершенства: Pic2Recipe корректно определяет рецепт пищи только в 65% случаев. По словам исследователей, причина столь невысокой точности кроется в различных ракурсах фотографий.

«В основном это проблема правильного масштабирования. Существует множество вариаций фотографий еды: так, фотография может быть сделана крупным планом или с некоторого расстояния. Кроме того, люди могут фотографировать не целое блюдо, а отдельный его элемент или часть», — рассказал один из разработчиков системы Ник Хайнс.

Интересно, что нейросеть лучше всего справляется с печеньями и кексами, поскольку таких рецептов с кулинарных сайтов в базе оказалось больше всего. Хуже всего система распознает смузи и суши.

1

Помимо этого, нейросеть плохо определяет те блюда, рецепты которых дублируются в базе данных, а также не всегда может точно определить способ приготовления блюда, например, тушили лук или жарили.

Вместе с тем, разработчики считают свое творение достаточно перспективным.

«Мы рассчитываем, что в дальнейшем люди смогут пользоваться улучшенной версией нашего алгоритма, чтобы отслеживать рацион питания в течение дня, определяя точное количество калорий в конкретном блюде, а также узнавать о здоровых привычках и пищевых предпочтениях людей на основе фотографий еды из их аккаунтов в социальных сетях», – заявил один из авторов исследования Хамед Хаддади.

Источники: Techcrunch, The Verge

  • Ранее мы писали о приложении Sony Lifelog, рассчитывающим калорийность пищи по фотографии.