До Adobe Max компанія Adobe підготувала проєкт Project Clever Composites, який використовує штучний інтелект для автоматичного компонування зображень.
Розроблений інструментарій автоматично передбачає масштаб об’єкта, визначає, де його найкраще вставити у зображення. Також ШІ здатний оцінювати умови освітлення, нормалізувати кольори об’єкта, що інтегрується, і генерувати тіні відповідно до зображення.
«Компонування зображень дозволяє додати себе, щоб створити враження, що ви були там. Або, можливо, ви хочете створити фотографію себе у поході під зоряним небом, але у вас є лише зображення зоряного неба та себе у поході вдень», – описує можливості Project Clever Composites Adobe.
Новий інструмент усуває необхідність проведення великої кількості ручних маніпуляцій у Photoshop. Тепер не потрібно шукати відповідне зображення об’єкта, ретельно вирізати його, редагувати масштаб, колір, тони, додавати тіні, щоб об’єкт, що вбудовується, відповідав загальному вигляду решти зображення.
«Ми розробили більш інтелектуальний та автоматизований метод компонування об’єктів зображення з новою технологією пошуку, що враховує композицію», – повідомив інженер-дослідник Adobe Чжифей Чжан. «Наша технологія пошуку з урахуванням компонування використовує кілька моделей глибокого навчання та мільйони точок даних для визначення семантичної сегментації, пошуку з урахуванням компонування, прогнозування масштабу та розташування для компонування об’єктів, гармонізації кольору та тону, оцінки освітлення, створення тіней та іншого».
За словами Чжана, кожна з моделей, що лежать в основі системи компонування зображень, навчається незалежно для виконання конкретного завдання, наприклад, пошуку об’єктів, що відповідають заданому зображенню з точки зору геометрії та семантики. В системі також використовується окремий конвеєр автоматичного компонування на основі штучного інтелекту, який піклується про прогнозування масштабу та розташування об’єкта, нормалізацію тону, оцінку умов освітлення та синтез тіней. Результатом став робочий процес, який дозволяє користувачам створювати об’єкти лише кількома клацаннями миші.
Project Clever Composites належить до науково-дослідних проєктів, які Adobe називає Sneaks. Не всі такі проєкти знаходять реалізацію у комерційних продуктах компанії. Як і деякі інші проєкти, він може залишитися лише технічною демонстрацією. Однак Чжан вважає, що він стане «відмінним доповненням» до Photoshop та Lightroom. Інженер каже, що вже ведеться робота над покращеною версією, яка підтримує компонування 3D-об’єктів, а не лише 2D.
Джерело: techcrunch