Meta у партнерстві з Microsoft публікує вихідний код LLaMA 2 – своєї великої мовної моделі, яка навчена на 40% більшій кількості даних, ніж попередня версія.
Оголошення відбулось під час заходу Microsoft Inspire, де обидві компанії заявили про «зростаюче партнерство». LLaMa 2 з відкритим вихідним кодом буде доступна через платформу Azure, а також Amazon Web Services, Hugging Face та інших постачальників.
Qualcomm своєю чергою заявила, що співпрацює з Meta над впровадженням LLaMa на ноутбуки, телефони та гарнітури із 2024 року для програм на основі штучного інтелекту, які працюють без використання хмарних служб.
За даними Meta, LLaMa 2 отримала для навчання на 40% більше даних порівняно з LLaMa 1. Віцепрезидент компанії з ШІ Ахмад Аль-Дале каже, що використовувались два набори даних – загальнодоступні дані з Інтернету та набір даних, налаштований за відгуками тестувальників. Meta, як стверджується, не використовувала метадані користувачів в LLaMA 2 і виключила дані із сайтів, які містять багато особистої інформації.
Велика мовна модель також нібито «перевершує» інші LLM, такі як Falcon і MPT в «аргументації, написанні коду, кваліфікації та тестах».
Meta каже, що отримала понад 100 000 запитів від дослідників на використання першої моделі, але LLaMA 2 з відкритим кодом, ймовірно, матиме набагато більше охоплення.
«Ми вважаємо, що відкритий підхід є правильним для розробки сучасних моделей штучного інтелекту, особливо в генеративному просторі, де технологія швидко розвивається. Ціле покоління розробників і дослідників може їх протестувати під навантаженням, швидко виявляючи та розв’язуючи проблеми», – йдеться у заяві Meta.