Xinhua/Huang Bohan
Китайские ученые использовали квантовый компьютер Origin Wukong для тонкой настройки большой языковой модели с миллиардом различных параметров.
Отмечается, что Origin Wukong работает на базе сверхпроводящего квантового чипа из 72 кубитов. Этот квантовый чип позволяет одному набору данных выполнять сотни различных задач одновременно. Это, в частности, значительно ускоряет обучение языковых моделей ИИ.
Этот чип был успешно испытан на наборе данных чат-бота по психическому здоровью. Подчеркивается, что процесс обучения удалось ускорить на 15%. Точность работы модели выросла с 68 до 82%. При том, что сама модель была уменьшена на 76%, ее производительность выросла на 8,4%.
По словам аналитиков, эксперимент не только продемонстрировал возможность использования квантовых вычислений для уменьшения больших языковых моделей, однако и предложил путь для решения проблемы нехватки вычислительных мощностей для обучения ИИ. После запуска в январе 2024 года квантовый компьютер Origin Wukong уже выполнил более 350 тыс. задач, от медицинской диагностики до финансовой аналитики, и инженерного проектирования. Услугами этого компьютера воспользовались специалисты из 139 стран.
Тонкая настройка — это процесс взятия предварительно обученной языковой модели и ее адаптации для лучшей работы в определенных задачах или в определенной области. Вместо того, чтобы обучать модель с нуля, тонкая настройка использует существующие знания в качестве основы и улучшает их с помощью специализированных данных, таких как юридические документы, медицинские записи или финансовые отчеты.
Это значительно повышает точность, релевантность и эффективность модели при применении в реальных условиях. Адаптируя модель для понимания отраслевого языка, терминологии и контекста, компании могут разблокировать более надежные и приближенные решения на основе ИИ, одновременно сокращая время и стоимость разработки.
Следующим шагом станет применение технологии к еще более сложным системам искусственного интеллекта, включая те, что работают одновременно с текстом, изображениями и звуком.
По словам исследователей, приближенных к последнему испытанию, Origin Wukong является одной из первых квантовых платформ, которая справится с полномасштабной рабочей нагрузкой тонкой настройки ИИ с ощутимыми результатами.
Источник: Interesting Engineering