Развитие искусственного интеллекта предполагает создание узкоспециализированных языковых моделей. Чем уже область обучения, тем более адекватные ответы в ней дает ИИ. Особенность даркнета в том, что многие его ресурсы недоступны для обычных браузеров – по этой причине популярные языковые модели могут быть некомпетентны в нем. Для исследования даркнета в Южной Корее создали модель DarkBERT на архитектуре RoBERTa. Цель – помощь исследователям безопасности и правоохранительным органам.
Подробное руководство модели дает общее представление о даркнете и методах работы ИИ в нем. RoBERTa была разработана еще в 2019 году. Особенность ее в том, что на способна распознавать принятые в Dark Web способы кодирования информации в сообщениях и извлекать из них полезную информацию.
Обратившись к модели сейчас, исследователи обнаружили ее большой потенциал и недостаточную тренировку на ранних этапах развития. Они просканировали Dark Web через систему анонимного доступа Tor, а затем отфильтровали необработанные данные (применяя такие методы, как дедупликация, балансировка категорий и предварительная обработка данных) для создания базы данных. DarkBERT – сочетание этой базы и модели RoBERTa.
Результат оправдал усилия – зная специфический «язык» даркнета и обучаясь в нем, DarkBERT превосходит другие языковые модели в исследовании и «понимании» Dark Web. Обучение и настройка модели продолжается, она имеет потенциал улучшить свои результаты.
Источник: Tom’s Hardware