Нова модель ШІ перетворює розмите відео на чітке

Дослідники з Вищої школи штучного інтелекту UNIST у Південній Кореї розробили вдосконалену модель ШІ «BF-STVSR», здатну одночасно покращувати роздільну здатність відео та частоту кадрів.

Науковці під керівництвом професора Джеджуна Ю, першого автора Енджина Кіма та співавторки Хёнджин Кім представили вдосконалену модель «BF-STVSR», що ефективно підвищує як роздільну здатність відео так і частоту кадрів одночасно. Традиційні методи покращення якості відео за допомогою ШІ зазвичай передбачають підвищення роздільної здатності та частоти кадрів окремо одне від одного. 

Значною мірою моделі ШІ покладаються на попередньо навчені мережі прогнозування оптичного потоку. Оптичний потік обчислює напрям і швидкість руху об’єкта на відео з метою генерації проміжних кадрів. Однак такий метод передбачає складні обчислення і вразливий до накопичення численних помилок, що обмежує як швидкість, так і якість покращення відео.

«BF-STVSR» використовує методи обробки сигналів, адаптовані під конкретне відео. Це дозволяє моделі вивчати двоспрямований рух між кадрами незалежно від зовнішніх мереж оптичного потоку. Виводячи контури об’єкта та потік руху, модель ефективно підвищує як роздільну здатність, так і частоту кадрів одночасно, що призводить до більш природної та послідовної реконструкції відео.

Застосування цієї моделі ШІ до відео низької роздільної здатності та з низькою частотою кадрів продемонструвало чудову продуктивність порівняно з існуючими моделями, про що свідчать більш високі показники пікового відношення сигнал-шум (PSNR) та індексу структурної подібності (SSIM). Ці показники демонструють, що навіть відео із жвавим рухом зберігають чіткі, неспотворені фігури людей та решту деталізації. 

Результати представлені на сервері препринтів arXiv

Джерело: TechXplore