Блоги
Нейросеть Recipe1M определяет рецепт блюда по его фото

Нейросеть Recipe1M определяет рецепт блюда по его фото

Нейросеть Recipe1M определяет рецепт блюда по его фото


Исследователи Лаборатории искусственного интеллекта и компьютерных наук Массачусетского технологического университета разработали нейронную сеть, которая способна не только определить список ингредиентов по фотографии блюда, но также подсказать, как его готовить. С подробностями работы можно ознакомиться на сайте университета.

Новоиспеченный искусственный интеллект получил название Recipe1M. Сообщается, что для того, чтобы его обучить, ученые предварительно собрали с различных кулинарных сайтов один миллион рецептов (которые включали изображение готового кушанья, список ингредиентов и инструкцию по приготовлению).

Затем специалисты научили нейронную сеть определять блюда по их фотографиям.

Нейросеть Recipe1M определяет рецепт блюда по его фото

На основе натренированной нейросети исследователи создали систему Pic2Recipe. Чтобы получить список ингредиентов и способ приготовления, пользователю достаточно загрузить фотографию искомого яства. Так, к изображению тарелки печенья нейросеть предлагает список ингредиентов из муки, яиц и масла.

Вместе с тем, на данном этапе система далека от совершенства: Pic2Recipe корректно определяет рецепт пищи только в 65% случаев. По словам исследователей, причина столь невысокой точности кроется в различных ракурсах фотографий.

«В основном это проблема правильного масштабирования. Существует множество вариаций фотографий еды: так, фотография может быть сделана крупным планом или с некоторого расстояния. Кроме того, люди могут фотографировать не целое блюдо, а отдельный его элемент или часть», — рассказал один из разработчиков системы Ник Хайнс.

Интересно, что нейросеть лучше всего справляется с печеньями и кексами, поскольку таких рецептов с кулинарных сайтов в базе оказалось больше всего. Хуже всего система распознает смузи и суши.

1

Помимо этого, нейросеть плохо определяет те блюда, рецепты которых дублируются в базе данных, а также не всегда может точно определить способ приготовления блюда, например, тушили лук или жарили.

Вместе с тем, разработчики считают свое творение достаточно перспективным.

«Мы рассчитываем, что в дальнейшем люди смогут пользоваться улучшенной версией нашего алгоритма, чтобы отслеживать рацион питания в течение дня, определяя точное количество калорий в конкретном блюде, а также узнавать о здоровых привычках и пищевых предпочтениях людей на основе фотографий еды из их аккаунтов в социальных сетях», – заявил один из авторов исследования Хамед Хаддади.

Источники: Techcrunch, The Verge

  • Ранее мы писали о приложении Sony Lifelog, рассчитывающим калорийность пищи по фотографии.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: