Согласно объявлению на мероприятии Google Next, отныне Gemini 1.5 Pro будет слышать своих пользователей — на практике модель сможет реагировать на загруженные аудиофайлы или выводить информацию на основе звонков и видео без необходимости загрузки стенограммы.
Сама Gemini 1.5 Pro была впервые запущена в феврале и сейчас является самой мощной языковой моделью Google (по производительности превосходит Gemini Ultra). Несомненно, ее основной особенностью является объем контекста, который модель может обработать: от 128 000 до 1 миллиона токенов. Миллион токенов эквивалентен примерно 700 000 слов или примерно 30 000 строк кода — это примерно в четыре раза больше данных, чем обрабатывает флагманская модель Anthropic, Claude 3 и примерно в восемь раз больше, чем GPT-4 Turbo max от OpenAI.
Gemini 1.5 Pro будет доступна в предпросмотре на Vertex AI — новой платформе-конструкторе, где бизнес-клиенты Google смогут создавать собственных чат-ботов.
Модель генерации текста в изображения Imagen 2 также получила обновление — и теперь предлагает функции «inpainting» и «outpainting», которые позволят добавлять или удалять элементы из изображений. Все изображения, сгенерированные нейросетью, также могут получить отметку SynthID — невидимый водяной знак, который обозначает происхождение картинки.
Источник: The Verge, Techcrunch