Компания Samsung ответила в своем блоге на утверждение ibreakphotos в Reddit о «подделке» изображения Луны при ее фотографировании с большим увеличением новейшими флагманскими смартфонами. Согласно пояснению Samsung, драматическое увеличение детализации было достигнуто с помощью функции «Оптимизация сцены» (Scene Optimizer) – ИИ распознает объекты на фото при помощи глубокого обучения и на основе этого улучшает их детализацию. Эффект, по сути, является более глубокой реализацией того, чем уже давно занимаются алгоритмы улучшения снимков, сделанных камерами смартфонов.
Что сделал ibreakphotos
Для демонстрации того, что эффекты камеры смартфонов Samsung, не являются улучшением детализации в классическом понимании, ibreakphotos воспользовался цифровым изображением Луны, скачанным из интернета, фоторедактором и монитором. Картинка была уменьшена до разрешения 170×170 пикселей, к ней было применено размытие по Гауссу – информация для восстановления деталей была надежно удалена.
Затем полученное изображение было увеличено в четыре раза и выведено на монитор, находящийся в темной комнате и снято смартфоном Samsung. Слева – то, что было видно на видоискателе со включенным зумом, справа – получившийся снимок:
Таким образом, мелкие детали на полученном смартфоном снимке оказались не восстановленными, а именно добавленными. Их наличие – всецело заслуга обработки изображения с помощью ИИ.
Затем ibreakphotos размыл изображение еще больше и добавил блики – участки изображения с яркостью выше 216 стали чисто белыми, без единой цветной детали. В результате повторной съемки экспериментатору всё равно удалось получить относительно четкое изображение Луны.
Объяснение Samsung
Чтобы сделать четкое фото Луны, камеры Samsung Galaxy используют технологию «Супер-разрешение» (Super Resolution) для синтеза более 10 изображений, снятых с увеличением x25 или выше. Обе технологии помогают создавать четкие изображения с помощью многокадровой композиции. Когда «Оптимизация сцены» включена и Луна распознается как объект, камера предоставляет пользователям яркое и четкое изображение благодаря механизму повышения детализации с применением ИИ, применяемому поверх «Супер-разрешения».
Распознавания Луны строится на основе различных ее детализированных изображений, в фазах полной до полумесяца, сделанных с Земли. Модель глубокого обучения ИИ обнаруживает наличие Луны в кадре и определяет область, которую она занимает. Благодаря обучению ИИ модель распознает положение и соответствующие детали Луны на фото, которые не участвовали в обучении.
Улучшение изображения Луны включает оптимальный подбор экспозиции, при этом ее фон затемняется. Автофокусировка постоянно держит Луну «в прицеле». Технологии оптической (OIS) и цифровой стабилизации (VDIS) в сочетании с функцией фиксации увеличения (Zoom Lock) минимизируют размытие в результате тряски и вибрации.
После подстройки всех сопутствующих параметров ИИ вновь подтверждает необходимость применения повышенной детализации. Камера делает несколько снимков, а затем объединяет их в одно четкое и яркое изображение. Именно после этого включается механизм повышения детализации ИИ на основе глубокого обучения, добавляющий детали.
После объяснений обеих сторон ситуация представляется абсолютно понятной. Камера Samsung действительно может получить изображение Луны из нечеткого желто-белого круга, лишенного деталей. С другой стороны, в современных смартфонах уже очень давно применяется улучшение детализации на основе цифровых алгоритмов. Практически на каждом фото при его изучении можно обнаружить изменения и артефакты, которых в реальности нет на объектах. Отличие лишь в том, что ИИ обучен интерпретировать объекты в кадре и в соответствии с этим добавлять конкретные детали, которые он «знает» благодаря глубокому обучению.
По сути, Samsung с помощью ИИ лишь довела до большего совершенства алгоритмы улучшения детализации цифровых фото. Однако данная история заставляет задуматься о той грани, где кончается, собственно, фотография и начинается творчество ИИ (творчество без кавычек – всякий творческий процесс, человеческий или ИИ, есть синтез на основе неких исходных данных). Ведь для получения красивого изображения Луны с помощью генеративного ИИ вовсе не обязательно вообще что-то фотографировать – можно просто задать основные параметры композиции словесно или графически.
Физические габариты смартфонов не позволяют получать действительно четкие увеличенные фото без применения цифровой обработки. Смартфон не является точным оптическим прибором для фиксации изображений – его задача в том, чтобы сохранять интересные и приятные картины увиденного в привлекательном виде.
Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков. IT-компания входит в группу компаний FAVBET.