В останні роки великі нейронні мережі, навчені розуміти мови та генерувати текст, досягли дивовижних результатів у широкому спектрі завдань. Система ШІ для генерації текстів OpenAI GPT-3 вперше показала, що великі мовні моделі (LLM) можуть досягти виняткових результатів навіть без масштабного збору даних під конкретні завдання або оновлення параметрів моделі.
Пізніші LLM, такі як GLaM, LaMDA, Gopher і Megatron-Turing досягли ще більш разючих результатів.
У 2021 році команда Google Research оголосила про створення Pathways — єдиної моделі, яка може узагальнювати домени та завдання, і водночас бути високоефективною. І у квітні 2022 року повідомила про прорив у створенні архітектури штучного інтелекту (ШІ), здатної вирішувати мільйони різних завдань, включаючи складне навчання, міркування та здатність розуміти жарти. Нова мовна система має 540 мільярдів параметрів і називається PaLM (Pathways Language Model).
Розробники оцінили здібності PaLM на сотнях завдань розуміння та генерації мови та виявили, що вона забезпечує «сучасну продуктивність», у багатьох випадках із значним відривом від інших подібних систем.
PaLM вміє математично логічно міркувати, пояснюючи свої дії, писати код і навіть пояснювати своє розуміння жартів, які були щойно вигадані і їх не можна знайти в інтернеті.
«Нова велика мовна модель, випущена Google AI. Подивіться, це досить складно повірити. Вона може пояснити жарти», — написав у Twitter Кароль Хаусман, старший науковий співробітник у Google Brain та ад’юнкт-професор у Стенфорді.
Засновник компаній SpaceX, Neuralink і The Boring Company, керуючий заводом Tesla Ілон Маск прокоментував приклад із поясненням жарту PaLM, назвавши його «напрочуд несмішним».
Staggeringly unfunny
— Elon Musk (@elonmusk) April 4, 2022