К мероприятию Adobe Max компания Adobe подготовила проект Project Clever Composites, который использует искусственный интеллект для автоматической компоновки изображений.
Разработанный инструментарий автоматически предсказывает масштаб объекта, определяет, где его лучше всего вставить в изображение. Также ИИ способен оценивать условия освещения, нормализовать цвета интегрируемого объекта и генерировать тени в соответствии с изображением.
«Компонирование изображений позволяет вам добавить себя, чтобы создать впечатление, что вы были там. Или, может быть, вы хотите создать фотографию себя в походе под звёздным небом, но у вас есть только изображения звездного неба и себя в походе в дневное время», — описывает возможности Project Clever Composites Adobe.
Новый инструментарий устраняет необходимость проведения большого количества ручных манипуляций в Photoshop. Теперь не нужно искать подходящее изображение объекта, тщательно вырезать его, редактировать масштаб, цвет, тона, добавлять тени, чтобы встраиваемый объект соответствовал общему виду остальной части изображения.
«Мы разработали более интеллектуальный и автоматизированный метод компоновки объектов изображения с новой технологией поиска, учитывающей композицию», — сообщил инженер-исследователь Adobe Чжифей Чжан. «Наша технология поиска с учётом компоновки использует несколько моделей глубокого обучения и миллионы точек данных для определения семантической сегментации, поиска с учётом компоновки, прогнозирования масштаба и местоположения для компоновки объектов, гармонизации цвета и тона, оценки освещения, создания теней и другого».
По словам Чжана, каждая из моделей, лежащих в основе системы компоновки изображений, обучается независимо для выполнения конкретной задачи, например поиска объектов, соответствующих заданному изображению с точки зрения геометрии и семантики. В системе также используется отдельный конвейер автоматической компоновки на основе искусственного интеллекта, который заботится о прогнозировании масштаба и местоположения объекта, нормализации тона, оценке условий освещения и синтезе теней. Результатом стал рабочий процесс, который позволяет пользователям создавать объекты всего несколькими щелчками мыши.
Project Clever Composites относится к научно исследовательским проектам, которые Adobe называет Sneaks. Не все такие проекты находят реализацию в коммерческих продуктах компании. Как и некоторые другие проекты, он навсегда может остаться лишь технической демонстрацией. Однако Чжан считает, что он станет «отличным дополнением» к Photoshop и Lightroom. Инженер говорит, что уже ведётся работа над улучшенной версией, которая поддерживает компонование 3D-объектов, а не только 2D.
Источник: techcrunch