IBM разрабатывает поиск на основе анализа аудио и визуального контента

Компания IBM совместно с консорциумом Европейского Союза проводит тестирование нового механизма поиска SAPIR (Search in Audio-Visual Content Using Peer-to-peer Information Retrieval).

В отличие от существующих поисковых систем (Google, Yahoo, Bing), которые, в основном, используют текстовые индексы и алгоритмы значимости для отображения поискового запроса, система SAPIR анализирует и индексирует файлы изображений, цифровых фотографий, аудио и видео. И хотя поисковые системы также способны осуществлять поиск среди аудио и визуального контента, все равно в них используются ассоциированные текстовые индексы и комментарии метаданных. Непосредственный поиск по аудио и визуальному контенту требует понимания и обработки специфики медиа данных, что требует значительных процессорных ресурсов поисковых серверов.

SAPIR преодолевает данный технологический барьер за счет использования крупномасштабной архитектуры, основанной на P2P, которая при поиске использует парадигму запроса примера (query-by-example). Например, делая допущение, что изображение может дать более полное описание, чем тысяча слов, эта парадигма может помочь находить подробную информацию о конкретном памятнике на основании фотографии, которую пользователь сделал при помощи мобильного телефона. Таким же образом может осуществляться поиск музыкальных композиций лишь по фрагменту мелодии. Путем комбинирования данной парадигмы и опционально привычных текстовых описательных метаданных достигается новый уровень удовлетворения поисковых нужд пользователей или целых социальных сетей.