Intel випустила програмну утиліту, яка здатна оцінити якість картинки в іграх з використанням апскейлера та фреймгенератора.

Новий набір інструментів з використанням моделі штучного інтелекту має допомогти людству об’єктивно оцінити зображення, згенероване ШІ. Як не важко здогадатись, у першу чергу, це стосується різноманітних режимів FSR/DLSS/XeSS  та кадрових генераторів, різновидів яких вже наплодилось доволі багато. Нова метрика якості комп’ютерної графіки має назву Computer Graphics Visual Quality Metric (CGVQM) і вже доступна для завантаження з Github.

Не рідко у сучасних іграх зображення рендериться не у нативній роздільній здатності. А з використанням зазначених технологій з підвищення частоти кадрів, може виникнути ціла купа проблем які негативно впливають на якість зображення. Ореоли, мерехтіння, шуми, набридливі цяточки й багато інших супутніх «ефектів» вже добре знайомі сучасним геймерам. Заміряти їх до цього часу можна було лише візуально.

Щоб створити кращий інструмент для оцінки, компанія Intel застосувала подвійний підхід  розв’язання проблеми у статті «CGVQM+D: Computer Graphics Video Quality Metric and Dataset».

По-перше, дослідники створили новий набір даних під назвою Computer Graphics Visual Quality Dataset (CGVQD), який містить різноманітні типи ефектів, що негативно впливають на якісь картинки. Серед них спотворення викликані трасуванням променів, нейросуперсемплінгом, інтерполяцією кадрів і декількома іншими, менш відомими.

По-друге, інженери навчили ШІ відрізняти та оцінювати ці «неприємності». Нейромережа спроможна у реальному часі оцінювати фінальне зображення після рендерингу і, як наслідок, порівнювати його.

Далі відбулось узгодження оцінок ШІ із реальними людьми. Учасники тесту оцінювали відібрані Intel спотворення за шкалою від «непомітних» до «дуже дратівливих». Таким чином нейромережа отримала правдиві дані реальних спостережників на які можна спиратись. При цьому саму модель для обчислень було обрано тривимірну (3D-CNN), а для залишкових зв’язків використовувалась ResNet.

У статті стверджується, що модель CGVQM перевершує практично будь-який інший подібний інструмент оцінки якості зображення, принаймні на власному наборі даних. Також дослідники демонструють, що їхня модель непогано виявляє спотворення й у тих випадках, коли власні дані не використовувались.

Стаття залишає кілька відкритих питань для покращення роботи утиліти. Бо, наприклад, було б цікаво дізнатись, як вона співпрацюватиме не з 3D-CNN, а з моделлю трансформації, на якій побудований ChatGPT та інші сучасні сервіси. Тут дослідники розводять руками, бо для цього їх обчислювальних можливостей поки що недостатньо.

Джерело: Tom’s Hardware