Microsoft, похоже, работает над собственной большой языковой моделью, которая потенциально станет главным конкурентом для ИИ Google, Anthropic і OpenAI — несмотря на то, что корпорация сама инвестировала $10 млрд в разработчика ChatGPT и получила приоритетное право на пользование его продуктами.
Согласно сообщениям The Information, разработку MAI-1 возглавляет Мустафа Сулейман — экс-руководитель Google AI, который был гендиректором Inflection, прежде чем Microsoft приобрела интеллектуальную собственность стартапа за $650 млн в марте и забрала большее количество персонала.
Несмотря на то, что MAI-1 может базироваться на методах, которые разрабатывались в Inflection, Microsoft позиционирует продукт как абсолютную новую большую языковую модель, говорят два неназванных сотрудника. Модель якобы содержит 500 млрд параметров — значительно больше, чем предыдущие модели Microsoft с открытым кодом (например, Phi-3), что приближает MAI-1 до GPT-4 OpenAI, которая, по слухам, может похвастаться 1 трлн параметров и значительно превышает конкурентные модели Meta и Mistral с 70 млрд параметров.
Разработка MAI-1 предусматривает двойной подход к ИИ в Microsoft: с сосредоточением на небольших локальных LLM, а также на более современных больших моделях, работающих в облаке (Apple рассматривает подобный подход). MAI-1 — также свидетельство того, что Microsoft в конце концов готова исследовать искуственный интеллект независимо от OpenAI, которая поддерживает своей технологией генеративные функции компании, включая ассистента Copilot, встроенного в Windows.
Сообщается, что точное назначение MAI-1 еще не определено, но будет зависеть от производительности. Для обучения модели Microsoft выделила большой кластер серверов с графическими процессорами Nvidia и собирала учебные данные из различных источников, включая тексты, сгенерированные GPT-4, и публичные данные из Интернета.
Вероятно, объявления о MAI-1 следует ожидать уже в этом месяце на конференции для разработчиков Microsoft Build.