NVIDIA представила локальные ИИ-модели на базе DeepSeek R1 — от 1,5 млрд до 32 млрд параметров

В последнее время IT-компании все больше внимания уделяют ИИ-моделям, способным к логическим рассуждениям и решению задач со сложными зависимостями. NVIDIA также сделала шаг в этом направлении, представив серию моделей OpenReasoning-Nemotron, предназначенных для работы с задачами по математике, физике, информатике и программированию. И главное, они не требуют дорогих серверов или доступа к облаку. Их можно запускать локально — на игровом компьютере с мощной видеокартой.

NVIDIA представила четыре варианта модели OpenReasoning-Nemotron с разным количеством параметров: 1,5 млрд, 7 млрд, 14 млрд и 32 млрд. Все они созданы на основе гораздо более крупной модели DeepSeek R1 0528, которая имеет 671 млрд параметров. Компания использовала технику дистилляции — сжала огромную «учительскую» модель до более компактных учеников, построенных на основе Qwen-2.5. Таким образом, сложные вычисления и аналитические возможности стали доступны не только исследователям, но и энтузиастам.

Модели обучены на основе 5 млн примеров решений по математике, науке и программированию. Эти данные были сгенерированы через специальный инструмент NVIDIA NeMo Skills. Затем все четыре версии OpenReasoning-Nemotron прошли управляемое обучение без использования методов с подкреплением.

Результаты оказались довольно оптимистичными. Самая мощная из моделей, 32B, получила 89,2 балла в математическом тесте AIME24 и 73,8 — на февральском конкурсе HMMT. Но и самая маленькая, 1.5B, не сильно отстает: 55,5 балла на AIME24 и 31,5 — на HMMT.

NVIDIA видит в этих моделях удобный и эффективный инструмент для исследований. Все варианты OpenReasoning-Nemotron будут доступны для загрузки на платформе Hugging Face. Их можно использовать как основу для обучения с помощью методов с подкреплением, а также адаптировать для собственных задач. Дополнительный режим GenSelect позволяет запускать несколько параллельных ответов и выбирать лучший — благодаря этому производительность 32B-модели может приближаться или даже превышать уровень OpenAI o3-high на отдельных тестах по математике и программированию.

Благодаря прозрачному процессу обучения без RL-алгоритмов (то есть без самостоятельного дообучения модели через обратную связь), исследователи получают «чистую» и современную отправную точку для дальнейших экспериментов. А для энтузиастов и пользователей, имеющих мощную видеокарту дома, открывается возможность запускать действительно умные ИИ-модели локально.

Источник: techpowerup, huggingface