Meta у партнерстві з Microsoft публікує вихідний код LLaMA 2 – своєї великої мовної моделі, яка навчена на 40% більшій кількості даних, ніж попередня версія.

Оголошення відбулось під час заходу Microsoft Inspire, де обидві компанії заявили про «‎зростаюче партнерство». LLaMa 2 з відкритим вихідним кодом буде доступна через платформу Azure, а також Amazon Web Services, Hugging Face та інших постачальників.

Qualcomm своєю чергою заявила, що співпрацює з Meta над впровадженням LLaMa на ноутбуки, телефони та гарнітури із 2024 року для програм на основі штучного інтелекту, які працюють без використання хмарних служб.

За даними Meta, LLaMa 2 отримала для навчання на 40% більше даних порівняно з LLaMa 1. Віцепрезидент компанії з ШІ Ахмад Аль-Дале каже, що використовувались два набори даних – загальнодоступні дані з Інтернету та набір даних, налаштований за відгуками тестувальників. Meta, як стверджується, не використовувала метадані користувачів в LLaMA 2 і виключила дані із сайтів, які містять багато особистої інформації.

Велика мовна модель також нібито «перевершує» інші LLM, такі як Falcon і MPT в «‎аргументації, написанні коду, кваліфікації та тестах».

Meta каже, що отримала понад 100 000 запитів від дослідників на використання першої моделі, але LLaMA 2 з відкритим кодом, ймовірно, матиме набагато більше охоплення.

• Meta вперше випустила свою модель LLaMA в лютому — як пакет з відкритим вихідним кодом, доступ до якого можуть отримати члени ШІ-спільноти. Однак за тиждень після того, як компанія почала приймати запити, торент для завантаження мовної моделі з’явився на сайті 4chan, а згодом поширився в інших спільнотах.
• Також компанія створила SAM — ШІ-модель сегментації зображень, яка може реагувати на підказки користувача (текстові або вказані курсором), щоб ідентифікувати певні об’єкти на зображенні чи відео;  та пропонує розробникам відкритий код та набір даних із 180 000 зображень до ШІ-проєкту Animated Drawings, який допоможе анімувати звичайні малюнки.