Исследователи из Массачусетского технологического института (MIT) разработали способ восстановления потерянных деталей на фотографиях и создания чёткого видео с размытых изображений. Алгоритм получил название «модель визуальной депроекции», он основан на свёрточной нейронной сети, суть которой заключается в переходе от конкретных особенностей изображения к более абстрактным деталям. Учёные из MIT обучили эту сеть, позволив ей проанализировать множество пар изображений в низком и высоком качестве. После этого она начала понимать, как из чёткой фотографии могут получаться размытые, едва различимые кадры.
Когда алгоритм используется для обработки ранее незнакомых изображений низкого качества с размытыми элементами, нейросеть старается понять, что стало причиной этого размытия, затем создаёт новые изображения, объединяя данные с уже существующими. Так появляется видео, которое чётко показывает источники движения.
Оперируя данными из 35 видеозаписей с 30 людьми, алгоритм смог точно воссоздать 24 кадра, демонстрирующие походку определённого человека, в том числе размеры и формы его тела, положение конечностей и так далее. Учёные хотят усовершенствовать свою технологию для дальнейшего её применения в медицинских целях. Они считают, что «модель визуальной депроекции» можно использовать для преобразования 2D-изображений (рентгеновские снимки) в 3D-изображения с дополнительными данными (КТ-снимки). Врачи, как правило, предпочитают результаты обследования, полученные с помощью компьютерной томографии, но КТ обходится дорого и не везде доступна. Сейчас исследователи сотрудничают с коллегами из Корнелльского университета, чтобы по такому же принципу воссоздавать трёхмерную анатомическую информацию о человеке.
Источник: Engadget