Nvidia выпустила раннюю версию Chat with RTX ─ демонстрационного приложения, которое позволяет запускать на локальном компьютере личного чат-бота с искусственным интеллектом. Ему можно передавать видеоролики YouTube и свои собственные документы, чтобы он создавал краткое содержание и релевантные ответы на основе собственных данных пользователя.
Эти возможности могут быть полезны журналистам, студентам и всем тем, кому нужно анализировать большое количество документов. Например, отправив в Chat with RTX ссылку на видео YouTube, можно искать конкретные упоминания или резюмировать все видео. Это полезная возможность для поиска нужных фрагментов в подкастах.
Хотя в ранней версии приложения все еще могут встречаться ошибки, и в некоторых случаях чат-бот анализирует другое видео. А попытка обработать 25 тыс. документов приводит к сбою программы. Чат-бот не запоминает контекст, поэтому последующие вопросы не могут основываться на контексте предыдущего вопроса. Но когда все работает правильно, нужную информацию можно найти всего за несколько секунд.
Chat with RTX также может использоваться для сканирования PDF-файлов и проверки данных, извлекая необходимую информацию. Ответы предоставляются практически мгновенно ─ без каких-либо задержек, которые обычно наблюдаются при использовании облачных чат-ботов ChatGPT или Copilot.
Chat with RTX на текущем этапе напоминает раннюю демо-версию для разработчиков. По сути, он устанавливает веб-сервер и экземпляр Python на ПК, который затем использует модели Mistral или Llama 2 для обработки данных. Затем чат-бот использует ядра Nvidia Tensor в GPU для ускорения обработки запросов. После запуска пользователь получает доступ к Chat with RTX из браузера, в то время как командная строка работает в фоновом режиме, отображая информацию о том, что обрабатывается, и коды ошибок.
Для запуска Chat with RTX на локальном ПК потребуется видеокарта серий RTX 30-й или 40-й с как минимум 8 ГБ видеопамяти. Установка чат-бота на компьютер с процессором Intel Core i9-14900K и видеокартой RTX 4090 занимает около 30 минут. Размер приложения составляет около 40 ГБ, а экземпляр Python занимает около 3 ГБ оперативной памяти.
Источник: The Verge