Apple представила собственную языковую модель FS-DFM (Few-Step Discrete Flow Matching), которая создает тексты в 128 раз быстрее ChatGPT и других современных систем. И при этом — без заметной потери качества.
Чтобы понять контраст: LLM модели по типу ChatGPT генерируют текст последовательно, слово за словом, ориентируясь на уже написанное. Это дает гибкость, но отнимает время. Зато FS-DFM работает иначе. Она создает несколько частей текста параллельно, затем несколько раз быстро их уточняет, пока не получится готовый вариант.
В обычных диффузионных моделях генерация текста или изображения происходит постепенно. То есть в таком случае система проходит сотни или даже тысячи шагов, чтобы дойти до финального результата. FS-DFM работает гораздо быстрее: ей нужно всего восемь уточнений (итераций), чтобы создать качественный текст. Это позволяет получить результат почти мгновенно, без потери качества.
Apple объясняет, что все держится на трех ключевых шагах. Сначала FS-DFM научили работать с различными объемами уточнений. Затем добавили вспомогательную «модель-учителя», которая подсказывает, как делать более точные правки без искажения результата. А на финальном этапе — отшлифовали процесс, чтобы сократить количество шагов до минимума без потери стабильности.
В тестах даже компактные версии FS-DFM (с 0,17-1,7 миллиарда параметров) показали более низкий уровень сложности текста и более стабильную энтропию — то есть уверенность в выборе слов. Для сравнения вот результаты других моделей: Dream (7 млрд) и LLaDA (8 млрд). Если говорить проще, то тексты FS-DFM выглядят более естественными, а система не «плавает» между вариантами.
Исследователи окрестили модель «редким примером сочетания скорости и качества». В перспективе FS-DFM может изменить подход к созданию больших текстов в ИИ. Особенно там, где важна скорость — от чатботов до генерации сценариев. Собственно поэтому появляется вопрос, начнет ли позже модель Apple намеренно «тупеть» по примеру ChatGP?
Компания разработала модель вместе с Университетом штата Огайо. Они опубликовали исследование под названием «FS-DFM: быстрая и точная генерация длинных текстов с помощью малокроковых диффузных языковых моделей». Apple также подтвердила, что выпустит код и контрольные точки модели, чтобы другие могли повторить результаты и развить идею.
Источник: 9to5mac
Сообщить об опечатке
Текст, который будет отправлен нашим редакторам: