Стартап  FutureHouse з Сан-Франциско представив LLM ether0, спрямовану на наукові дослідження.

Розробники на чолі з Семом Родрігесом називають ether0 першою справжньою «моделлю міркувань», розробленою спеціально для вирішення наукових завдань. Це велика мовна модель, призначена для розв’язання завдань у сферії хімії. Навчання моделі відбувалось шляхом проходження тесту з близько 500 тис. питань. 

Виконуючи інструкції звичайною англійською, ether0 здатен виводити хімічні формули, зокрема, ті, які задовільняють створенню фармацевтичних препаратів. LLM має відкритий вихідний код і перебуває у загальному доступі.

На відміну від попередніх спеціалізованих моделей, ether0 може відслідковувати хід власних міркувань простою англійською і може давати відповіді на складні питання, які зазвичай потребують глибоких міркувань.

За словами хіміка з Йенського університету в Німеччині Кевіна Яблонки, який вже спробував попрацювати з ether0, ця модель здатна робити значні висновки стосовно хімічних властивостей, щодо яких не проходила спеціального навчання. 

FutureHouse була запущена в 2023 році як некомерційна організація, яку підтримує колишній гендиректор Google Ерік Шмідт, з місією прискорення наукового процесу за допомогою ШІ. Минулого року компанія випустила просунутого рецензента наукової літератури та платформу агентів ШІ.

Ці агенти беруть інформацію з наукової літератури та використовують інструменти зі сфери молекулярної хімії з метою аналізу даних та відповідей на питання щодо створення ліків. Однак, як і більшість LLM, агенти принципово обмежені обсягом інформації з хімії, яка доступна в Інтернеті.

Для подальшого вдосконалення науковці звернулись до таких моделей міркування як китайська DeepSeek-R1. Ці моделі здатні «рефлексувати» і демонструвати хід власних міркувань, який веде їх до тієї чи іншої відповіді. Дослідники FutureHouse взяли відносно невелику LLM від французького стартапу Mistral AI, яка приблизно в 25 разів менша за DeepSeek-R1 — досить компактну, щоб працювати на ноутбуці.

Замість того, щоб навчати модель по підручниках з хімії та наукових статтях, дослідники вирішили, що вона може навчатись шляхом проходження тестів. Для цього було зібрано лабораторні результати з 45 наукових статей по хімії, зокрема, стосовно таких питань як молекулярна розчинність та запах. На основі цього було сформовано 5 тис. 790 питань.

Базову модель ether0 навчили міркувати вголос. Її попросили прочитати неправильні рішення та ланцюжки міркувань, згенеровані DeepSeek-R1. Кожна з семи версій моделі намагалася вирішити певну підмножину питань з хімії, отримуючи нагороди, що підкріплюють, за правильні відповіді. Потім дослідники об’єднали ланцюжки міркувань із цих спеціалізованих моделей в одну універсальну модель. 

Продуктивність ether0 оцінили за допомогою низки додаткових питань, деякі з них не були пов’язані із темами, що були представлені у навчальному курсі. Майже за всіма напрямками ether0 перевершила такі моделі як OpenAI GPT-4.1 и DeepSeek-R1.

Під час вирішення певних типів завдань ether0 майже вдвічі перевершила точність порівняно із конкурентами. Але оскільки ether0 може генерувати рішення лише у вигляді хімічних формул та реакцій, складно порівнювати його продуктивність з іншими моделями та людьми у незалежних тестах.

За словами Сема Родрігеса, ключова особливість, яку надають ці моделі міркувань, полягає в тому, що ви можете бачити, про що вони думають протягом усього процесу. Його команда виявила, що якщо дозволити моделям міркувати довше, відповіді стають точнішими, але менш розбірливими, оскільки моделі починають змішувати кілька мов та вигадувати нові слова. Внаслідок цього розробники вирішили обмежити час на міркування, віддавши пріоритет інтерпретації на противагу точності. 

У FutureHouse хочуть максимально автоматизувати науковий процес у сфері хімії, поклавши на ШІ як генерацію ідей, так і написання наукових матеріалів. Однак велика кількість інших науковців виступає проти цього, попереджаючи, що це може суттєво звузити коло наукових досліджень.

Почалося? Найрозумніші моделі ШІ OpenAI відмовляються вимикатися за прямим наказом

Джерело: Nature