Depositphotos
Дослідники з Вищої школи штучного інтелекту UNIST у Південній Кореї розробили вдосконалену модель ШІ «BF-STVSR», здатну одночасно покращувати роздільну здатність відео та частоту кадрів.
Науковці під керівництвом професора Джеджуна Ю, першого автора Енджина Кіма та співавторки Хёнджин Кім представили вдосконалену модель «BF-STVSR», що ефективно підвищує як роздільну здатність відео так і частоту кадрів одночасно. Традиційні методи покращення якості відео за допомогою ШІ зазвичай передбачають підвищення роздільної здатності та частоти кадрів окремо одне від одного.
Значною мірою моделі ШІ покладаються на попередньо навчені мережі прогнозування оптичного потоку. Оптичний потік обчислює напрям і швидкість руху об’єкта на відео з метою генерації проміжних кадрів. Однак такий метод передбачає складні обчислення і вразливий до накопичення численних помилок, що обмежує як швидкість, так і якість покращення відео.
«BF-STVSR» використовує методи обробки сигналів, адаптовані під конкретне відео. Це дозволяє моделі вивчати двоспрямований рух між кадрами незалежно від зовнішніх мереж оптичного потоку. Виводячи контури об’єкта та потік руху, модель ефективно підвищує як роздільну здатність, так і частоту кадрів одночасно, що призводить до більш природної та послідовної реконструкції відео.
Застосування цієї моделі ШІ до відео низької роздільної здатності та з низькою частотою кадрів продемонструвало чудову продуктивність порівняно з існуючими моделями, про що свідчать більш високі показники пікового відношення сигнал-шум (PSNR) та індексу структурної подібності (SSIM). Ці показники демонструють, що навіть відео із жвавим рухом зберігають чіткі, неспотворені фігури людей та решту деталізації.
«Ця технологія має широке застосування: від відновлення записів з камер відеоспостереження або записів чорної скриньки, знятих на недорогих пристроях, до швидкого покращення стиснених потокових відео високоякісного медіаконтенту. Вона також може принести користь у таких галузях, як медична візуалізація та віртуальна реальність», — пояснює професор Джеджун Ю.
Результати представлені на сервері препринтів arXiv
Джерело: TechXplore