На конференції розробників Google I/O компанія оголосила про запуск наступного покоління власної великої мовної моделі PaLM, яка ляже в основу оновленого чатбота Bard і функціонуватиме як базова технологія для більшості нових функцій штучного інтелекту, які також анонсовані сьогодні.
Технічних деталей про навчання нової LLM Google не надала, як і даних про кількість параметрів (PaLM, до прикладу, це модель із 540 мільярдами параметрів), хоча зазначила, що технологія була створена на основі останньої інфраструктури Google JAX і TPU v4.
«Ми виявили під час роботи, що більше не завжди краще. Вважаємо, що підрахунок параметрів — насправді не дуже корисний шлях для аналізу можливостей моделі. Можливості мають оцінювати люди, які їх використовують та з’ясовують, чи вони корисні в тестах», — сказав віцепрезидент Google DeepMind Зубін Гахрамані.
В Google стверджують, що PaLM 2 краще підходить для математики та логіки, оскільки вчилась на великій кількості математичних і наукових текстів. Ні для кого не секрет, що великі мовні моделі — з їхньою переважною увагою до текстів — мають проблеми з обробкою математичних запитів без використання сторонніх плагінів. У компанії кажуть, що PaLM 2 з легкістю розв’язує математичні головоломки, розмірковує над проблемами та створює діаграми.
Також PaLM 2 отримала покращені можливості для написання та налаштування коду. Модель навчалась на 20 мовах програмування, включно з популярними JavaScript і Python, а також Prolog, Verilog і Fortran. PaLM 2 також лягла в основу Codey — спеціалізованої моделі Google для кодування та налаштування, яку теж запустили сьогодні, як частину служби доповнення та генерації коду.
PaLM 2 також навчалась на корпусі із понад 100 мов, що покращить роботу ШІ-інструментів компанії у «багатомовних завданнях».
Google говорить про PaLM як про сімейство моделей, яке включає вищезгадану Codey, а також Med-PaLM 2 — модель, орієнтовану на медичні знання. Є ще версія для безпеки Sec-PaLM та менша модель PaLM 2, яка може працювати на смартфонах. Google каже, що остання може обробляти 20 токенів за секунду, що не надто швидко, але може бути прийнятним для деяких випадків використання (хоча Google не повідомляє, на якому телефоні було проведене тестування).
PaLM 2 вже доступна для розробників через Google PaLM API, Firebase і Colab.
Джерело: Techcrunch