Meta в партнерстве с Microsoft публикует открытый код LLaMA 2 – своей большой языковой модели, обученной на 40% большем количестве данных, чем предыдущая версия.
Объявление состоялось во время мероприятия Microsoft Inspire, где обе компании заявили о «растущем» партнерстве. LLaMa 2 с открытым исходным кодом будет доступна через платформу Azure, а также Amazon Web Services, Hugging Face и других поставщиков.
Qualcomm в свою очередь заявила, что сотрудничает с Meta над внедрением LLaMa на ноутбуки, телефоны и гарнитуры с 2024 года для программ на основе искусственного интеллекта, работающих без использования облачных служб.
По данным Meta, LLaMa 2 получила для обучения на 40% больше данных по сравнению с LLaMa 1. Вице-президент компании по ИИ Ахмад Аль-Дале говорит, что использовались два набора данных – общедоступные данные из Интернета и набор данных, настроенный по отзывам тестировщиков. Meta, как утверждается, не использовала метаданные пользователей в LLaMA 2 и исключила данные с сайтов, содержащих много личной информации.
Большая языковая модель также якобы «превосходит» другие LLM, такие, как Falcon и MPT в «аргументации, написании кода, квалификации и тестах».
Meta говорит, что получила более 100 000 запросов от исследователей на использование первой модели, но LLaMA 2 с открытым кодом, вероятно, получит гораздо больший охват.
«Мы считаем, что открытый подход правильный для разработки современных моделей искусственного интеллекта, особенно в генеративном пространстве, где технология быстро развивается. Целое поколение разработчиков и исследователей может их протестировать под нагрузкой, быстро находя и решая проблемы», – говорится в заявлении Meta.