Невелика модель ШІ, яка навчається на обмеженому наборі даних (TRM) перевершила деякі з LLM у тесті “Корпус абстрактного мислення для штучного інтелекту загального призначення”.
Цей тест включає візуальні логічні головоломки, покликані збити з пантелику більшість моделей ШІ. TRM-модель доволі складно порівняти з LLM, оскільки вона вузькоспеціалізована, перевершуючи інших лише у розв’язані логічних головоломок, як судоку або лабіринти. Вона не розуміє мову і не генерує слова. Її особливість полягає виключно в успішному розв’язанні головоломок за обмеженого обсягу обчислювальних ресурсів. Вона у 10 тис. разів менша за передові LLM.
“Це захопливе дослідження інших форм міркувань, які колись можуть бути використані у ШІ. Часто методи дуже добре працюють на моделях невеликого розміру, а потім просто перестають працювати при збільшенні масштабу”, — зазначає дослідник машинного навчання Конг Лу.
Авторка дослідження з Інституту передових технологій Samsung у канадському Монреалі Алексія Жолікер-Мартіно підкреслює, що її модель спростовує твердження, ніби тільки Великі мовні моделі, на навчання яких витрачають мільйони доларів, здатні вирішувати складні завдання. Вона виклала код власної TRM на Github.
Більшість моделей ШІ для міркувань побудовані на основі LLM, які передбачають наступне слово у послідовності, використовуючи мільярди параметрів. Вони чудово запам’ятовують закономірності з мільярдів проаналізованих матеріалів, однак це може збивати їх з пантелику під час розв’язання непередбачуваних логічних завдань.
Натомість TRM використовує інший підхід. Алексія Жолікер-Мартіно надихалась методикою, відомою як ієрархічна модель міркувань, розробленою Sapient Intelligence з Сінгапуру.
Цей метод покращує відповідь шляхом кількох ітерацій. TRM діє аналогічно, маючи усього 7 млн параметрів, тоді як ієрархічна модель використовує 27 млн, а LLM — мільярди та трильйони параметрів. Під кожний тип головоломки Жолікер-Мартіно навчала власну ШІ-модель на близько тисячі прикладів, представлених у вигляді числового рядка.
Під час навчання модель вгадує рішення та порівнює його з правильною відповіддю, уточнює власні передбачення та повторює все спочатку. Такий підхід допомагає їй вивчати різні стратегії для покращення передбачень. Аналогічний підхід TRM застосовує згодом до головоломок, з якими до цього не стикалась, послідовно уточнюючи відповідь до 16 разів, перш ніж остаточно згенерувати її.
За результатами навчання на даних тесту ARC-AGI вона змогла правильно вгадати послідовність візуальних логічних головоломок у 40% випадків упродовж першої ітерації. У складнішому тесті ARC-AGI-2 TRM набрала 6,3%, випередивши більшу за себе o4-mini від OpenA та інші моделі.
Окрім цього TRM має здатність до самокоригування, що залишається складним для більшості LLM. Далі науковці планують перевірити, наскільки успішною вона буде у розв’язанні завдань з фізики, наприклад, для створення правил організації квантових експериментів зі створення різних бажаних станів.
Результати дослідження опубліковані на сервері препринтів arXiv
Джерело: Nature
Контент сайту призначений для осіб віком від 21 року. Переглядаючи матеріали, ви підтверджуєте свою відповідність віковим обмеженням.
Cуб'єкт у сфері онлайн-медіа; ідентифікатор медіа - R40-06029.