Компания Google представила первую модель из недавно выпущенного семейства искусственного интеллекта Gemini 2.0 – экспериментальную версию Gemini 2.0 Flash, разработанную для создания генеративных ИИ-агентов и ассистентов.
Gemini 2.0 Flash основывается на предыдущей версии 1.5 Flash – легковесной и быстро работающей модели большого языка, оптимизированной для скорости и эффективности. Согласно Google, Flash 2.0 превосходит Gemini 1.5 Pro – самый крупный и сложный ИИ-модель компании – по ключевым показателям при удвоенной скорости работы.
Мультимодальная поддержка и интеграция инструментов
Новая версия модели поддерживает различные типы входных данных, включая изображения, видео и аудио, а также обновлена для поддержки мультимодальных выходных данных. Это означает, что модель способна на нативное создание смешанных изображений с текстом и на преобразование текста в речь (text-to-speech).
Для повышения функциональности в области цифровых ассистентов Google дала модели возможность использовать внешние инструменты, такие как Google Search, выполнение кода и функции сторонних разработчиков.
Доступ и интеграция в экосистему Google
Подобно популярной версии Gemini 1.5 Flash среди разработчиков, Gemini 2.0 Flash уже доступна как экспериментальная модель через API Gemini для партнеров с ранним доступом через Google AI Studio и платформу Google Cloud Vertex AI, предназначенную для обучения и развертывания моделей. Планируется, что общедоступная версия появится в январе.
Сейчас версия 2.0 Flash доступна в интерфейсе Gemini chat assistant на десктопе и мобильных браузерах, что позволяет пользователям тестировать ее возможности. В ближайшем будущем модель появится в мобильном приложении Gemini и в большем числе продуктов Google.
Испытания ИИ-агентов и ассистентов
Google исследует новые продукты, опирающиеся на возможности Gemini 2.0 Flash, которые будут фокусироваться на генеративных ИИ-агентах и расширенных функциях помощи.
ИИ-агенты — это интеллектуальные программные решения, которые способны действовать проактивно от имени пользователей, собирать информацию и применять инструменты для достижения целей. В отличие от классических ассистентов, ограниченных диалогом и ответами на вопросы, ИИ-агенты смогут выполнять конкретные задачи, например, совершать покупки или бронировать билеты.
Google выделяет следующие ключевые улучшения Gemini 2.0 Flash:
- поддержка действий через собственный пользовательский интерфейс;
- мультимодальное рассуждение;
- понимание большого контекста;
- следование сложным инструкциям и планирование;
- композируемые вызовы функций;
- нативное использование инструментов;
- улучшенная скорость отклика.
Проект Astra: универсальный ИИ-ассистент
На конференции Google I/O 2024 была представлена инициатива Project Astra — универсальный ИИ-ассистент, способный вести разговоры с естественным звучанием речи и отвечать на вопросы о мире.
С внедрением Gemini 2.0, Astra получила возможность взаимодействовать с Google Search для поиска информации, Google Lens для распознавания объектов и Google Maps для понимания местного окружения.
Кроме того, проект улучшил функции памяти, позволяя помнить детали разговоров – напоминания, предпочтения пользователя, номера телефонов и коды доступа. Также стала доступна функция персонализации ассистента.
Gemini 2.0 обеспечивает возможность переключения между несколькими языками прямо в ходе беседы, что повышает точность понимания акцентов и редких слов – сложных задач для многих современных моделей распознавания речи.
Google продолжает работу по интеграции ИИ-ассистента в дополнительные устройства, включая очки с функцией hands-free, а также расширяет круг доверенных тестеров проекта Astra.
Проект Mariner: ИИ-агент для работы в браузере
Другим экспериментальным проектом является Project Mariner, который использует Gemini 2.0 Flash для работы в интернете. Он способен управлять браузером, анализировать элементы страниц — ссылки, текст, код, кнопки и формы — и навигировать по веб-страницам.
В ходе тестирования Mariner представлен в виде расширения для Chrome, способного выполнять задачи при участии пользователя. Например, демонстрация показала, как агент ищет контактные электронные адреса. Модель самостоятельно посещает сайты, находит данные и отображает их пользователю.
Пользователь видит логику действий агента и может вмешаться в работу в любое время. Несмотря на то, что Mariner способен выполнять последовательность операций, Google подчеркивает, что решения о покупке всегда требуют прямого участия человека.
Jules: ИИ-агент для программирования
Jules — это экспериментальный агент для программирования на базе Gemini 2.0, который помогает разработчикам выполнять рутинные задачи, такие как исправление багов и добавление мелких функций, через интеграцию с репозиториями GitHub.
Jules автоматически создает копию репозитория и после получения задания генерирует план изменений, который затем демонстрирует пользователю. Далее агент последовательно выполняет запланированные действия, при этом разработчик может прервать процесс или изменить план в любой момент.
Модель способна обновлять зависимости, модифицировать файлы и подготавливать pull request для интеграции изменений в основной проект после одобрения разработчиком.
По словам руководителя продукта Google Labs, основная мотивация создания Jules заключается в автоматизации скучных и повторяющихся задач, позволяя программистам сосредоточиться на творческих аспектах разработки.
Jules доступен ограниченному числу тестировщиков и планируется к расширенному релизу в начале 2025 года.
Заключение
С выпуском Gemini 2.0 Flash Google делает значительный шаг в развитии искусственного интеллекта, направленный на создание более эффективных, интеллектуальных и многофункциональных агентов и ассистентов.
Благодаря поддержке мультимодальности, взаимодействию с внешними инструментами и высокой производительности, новый ИИ становится основой для инновационных продуктов, способных улучшить пользовательский опыт в различных сферах: от повседневных задач до программирования и веб-навигации.
Прокомментировать в Телеграм: https://t.me/n8nhow
Подписаться на канал обучения n8n: https://t.me/n8ncoaching