Многие сверхточные нейронные сети для распознавания изображений можно легко обмануть, немного изменив расположение объекта на снимке, выяснили американские исследователи из Обернского университета (США) и компании Adobe, написавшие программное обеспечение, упрощающее тестирование алгоритмов на подобные ошибки.
Как сообщается, созданная ими программа позволяет моделировать объект с фоном, менять его положение, освещение и другие характеристики. После определения параметров ПО создает двумерное изображение сцены и проверяет на нем нейросеть. Код программы для тестирования опубликован на GitHub.
С помощью данного ПО исследователи решили протестировать популярную сверточную нейросеть Inception-v3, разработанную в Google; показывающую один из лучших результатов при классификации фотографий из датасета ImageNet, содержащего миллионы изображений. Для своей работы они отобрали 30 высококачественных 3D-моделей объектов, которые чаще всего встречаются в поездках на автомобиле, и создали для каждой из них множество вариантов с разными углами поворота и изменением освещения. Таким образом исследователи также косвенно проверили, подвержены ли подобным ошибкам алгоритмы беспилотных автомобилей.
Тестирование показало, что нейросеть Inception-v3 корректно распознает лишь 3,09% изображений одного и того же объекта, сделанных в разных условиях (положение и освещение). Ошибки классификации появлялись при повороте всего на 8 градусов.
Впоследствии схожим образом были проверены нейросеть AlexNet и алгоритм, натренированный на датасете MS COCO. Первую нейросеть исследователям удалось обмануть в 99,9% случаев, вторую — в 75,5%.
Источник: N+1