Microsoft и NVIDIA совместными усилиями создали модель генерации естественного языка Megatron-Turing Natural Language Generation — она содержит 530 миллиардов параметров, что делает ее самой большой и самой мощной в своем классе.
MT-NLG, созданная в рамках сотрудничества Microsoft и NVIDIA, имеет в 3 раза больше параметров по сравнению с существующей крупнейшей моделью такого типа и обеспечивает более высокую точность в широком наборе задач естественного языка.
Ключевыми сценариями для этой системы являются:
- Предсказание завершения текста по смыслу;
- Понимание прочитанного;
- Генерация логических выводов;
- Создание заключений на естественном языке;
- Различение смысла слов с несколькими значениями.
Для обучения столь масштабной модели NVIDIA и Microsoft объединили современную инфраструктуру обучения на основе GPU с передовым программным стеком распределенного обучения. Также партеры создали базы данных естественного языка, включающие сотни миллиардов единиц контента, а разработали новые методы обучения для повышения эффективности и стабильности оптимизации.