На конференции разработчиков Google I/O компания объявила о запуске следующего поколения собственной большой языковой модели PaLM, которая ляжет в основу обновленного чат-бота Bard и будет функционировать как базовая технология для большинства новых функций искусственного интеллекта, которые также анонсированы сегодня.
Технические детали об обучении новой LLM Google не предоставила, как и данных о количестве параметров (PaLM, к примеру, это модель с 540 миллиардами параметров), хотя отметила, что технология была создана на основе последней инфраструктуры Google JAX и TPU v4.
«Мы обнаружили во время работы, что больше не всегда значит лучше. Считаем, что подсчет параметров — действительно не очень полезный путь для анализа возможностей модели. Возможности должны оценивать люди, которые их используют и выясняют, полезны ли они в тестах», — сказал вице-президент Google DeepMind Зубин Гахрамани.
В Google утверждают, что PaLM 2 лучше подходит для математики и логики, поскольку училась на большом количестве математических и научных текстов. Ни для кого не секрет, что большие языковые модели — с их подавляющим вниманием к текстам — имеют проблемы с обработкой математических запросов без использования сторонних плагинов. В компании говорят, что PaLM 2 с легкостью решает математические головоломки, размышляет над проблемами и создает диаграммы.
Также PaLM 2 получила улучшенные возможности для написания и настройки кода. Модель училась на 20 языках программирования, включая популярные JavaScript и Python, а также Prolog, Verilog и Fortran. PaLM 2 также легла в основу Codey – специализированной модели Google для кодировки и настройки, которую тоже запустили сегодня как часть службы дополнения и генерации кода.
PaLM 2 также училась на корпусе из более 100 языков, что улучшит работу ИИ-инструментов компании в «многоязычных задачах».
Google говорит о PaLM как о семействе моделей, включающем вышеупомянутую Codey, а также Med-PaLM 2 — модель, ориентированную на медицинские знания. Есть еще версия безопасности Sec-PaLM и меньшая модель PaLM 2, которая может работать на смартфонах. Google говорит, что последняя может обрабатывать 20 токенов в секунду, что не слишком быстро, но может быть приемлемым для некоторых случаев использования (хотя Google не сообщает, на каком телефоне было проведено тестирование).
PaLM 2 уже доступна для разработчиков через Google PaLM API, Firebase и Colab.
Источник: Techcrunch