Nvidia випустила ранню версію Chat with RTX ─ демонстраційної програми, яка дозволяє запускати на локальному комп’ютері особистого чат-бота зі штучним інтелектом. Йому можна передавати відеоролики YouTube та свої власні документи, щоб він створював короткий зміст та релевантні відповіді на основі власних даних користувача.
Ці можливості можуть бути корисними журналістам, студентам та всім тим, кому потрібно аналізувати велику кількість документів. Наприклад, надіславши в Chat with RTX посилання на відео YouTube, можна шукати конкретні згадки або резюмувати всі відео. Це корисна можливість пошуку потрібних фрагментів в подкастах.
Хоча в ранній версії програми все ще можуть траплятися помилки, і в деяких випадках чат-бот аналізує інше відео. А спроба опрацювати 25 тис. документів призводить до збою програми. Чат-бот не запам’ятовує контекст, тому наступні питання не можуть ґрунтуватися на контексті попереднього питання. Але коли все працює правильно, потрібну інформацію можна знайти лише за кілька секунд.
Chat with RTX також може використовуватися для сканування PDF-файлів та перевірки даних, витягуючи необхідну інформацію. Відповіді надаються практично миттєво без будь-яких затримок, які зазвичай спостерігаються при використанні хмарних чат-ботів ChatGPT або Copilot.
Chat with RTX на поточному етапі нагадує ранню демоверсію для розробників. По суті, він встановлює вебсервер та екземпляр Python на ПК, який потім використовує моделі Mistral або Llama 2 для обробки даних. Потім чат-бот використовує ядра Nvidia Tensor у GPU для прискорення обробки запитів. Після запуску користувач отримує доступ до Chat with RTX з браузера, а командний рядок працює у фоновому режимі, відображаючи інформацію про те, що обробляється, і коди помилок.
Для запуску Chat with RTX на локальному ПК буде потрібна відеокарта серій RTX 30-ї або 40-ї з як мінімум 8 ГБ відеопам’яті. Установка чат-бота на комп’ютер із процесором Intel Core i9-14900K та відеокартою RTX 4090 займає близько 30 хвилин. Розмір програми складає близько 40 ГБ, а екземпляр Python займає близько 3 ГБ оперативної пам’яті.
Джерело: The Verge