Компания Google выпустила первый экспериментальный вариант модели Gemini 2.0 Flash, которая служит фундаментом для создания генеративных ИИ-агентов и помощников. Эта версия стала развитием модели 1.5 Flash — лёгкой, быстрой и эффективной большой языковой модели.
Gemini 2.0 Flash превосходит в производительности предыдущую модель Gemini 1.5 Pro, обладающую самой крупной и сложной архитектурой, при этом работая в два раза быстрее.
Модель может обрабатывать различные типы входных данных, включая изображения, видео и аудио, а также генерировать мультимодальные ответы, сочетающие текст, изображения и аудио с преобразованием текста в речь. Кроме того, Gemini 2.0 Flash поддерживает интеграцию с внешними инструментами, такими как Google Search, исполнение кода и функции сторонних разработчиков.
Экспериментальная доступность и интеграция
Gemini 2.0 Flash доступна в экспериментальном режиме через API Gemini для ограниченного круга партнёров в Google AI Studio и Vertex AI — платформе облачных сервисов Google для обучения и запуска моделей. Ожидается, что общедоступный релиз состоится в январе.
С сегодняшнего дня модель доступна для тестирования в настольной и мобильной веб-версии чата Gemini, а также в мобильном приложении, которое вскоре выйдет. В будущем Google планирует интегрировать модель в другие собственные сервисы.
Новые возможности ИИ-агентов
Google активно исследует применение Gemini 2.0 Flash для создания новых продуктов, сосредоточенных на развитии генеративных ИИ-агентов и ассистентов. ИИ-агенты — это интеллектуальные программы, способные проактивно помогать пользователям, используя инструменты для достижения поставленных целей.
В отличие от традиционных ассистентов, которые ограничиваются диалогом и ответами, такие агенты смогут самостоятельно выполнять сложные задачи — например, совершать покупки или бронировать билеты.
Основные возможности Gemini 2.0 Flash включают:
- Продвинутую мультимодальную обработку и понимание длительного контекста.
- Выполнение сложных инструкций с планированием действий.
- Встроенное использование внешних инструментов.
- Уменьшение задержек, что повышает отзывчивость.
Проект Astra — универсальный ИИ-ассистент
На конференции Google I/O 2024 компания представила Project Astra — инициативу по развитию универсального голосового ассистента с естественной речью и обширными знаниями о мире.
С появлением Gemini 2.0 Astra интегрируется с Google Search для поиска информации, с Google Lens для распознавания объектов и с картами Google для понимания местности. Ассистент умеет запоминать детали разговоров, например напоминания, маршруты, телефоны и пароли, благодаря чему пользователь может персонализировать взаимодействие.
Также Astra получила функцию переключения между несколькими языками прямо во время общения, а также улучшенное распознавание акцентов и редких слов, что значительно повышает качество понимания речи.
Google продолжает расширять доступ к этим функциям, включая устройства с голосовым управлением, такие как умные очки.
Проект Mariner — ИИ-агент для веб-сёрфинга
Другой прототип на базе Gemini 2.0 Flash — Project Mariner — способен самостоятельно работать с веб-браузером, управлять им, анализировать содержимое страниц (ссылки, тексты, кнопки, формы) и выполнять задачи от пользователя.
Текущая версия функционирует как расширение для Chrome и позволяет выполнять разнообразные операции, сохраняя контроль за человеком. Например, на демонстрации Mariner прошёл по списку компаний и фамилий в Google Sheet, находил на сайтах соответствующие email-адреса и отображал результаты с пояснением своих действий. При необходимости пользователь может прервать процесс.
Хотя модель способна управлять онлайн-покупками, для завершения транзакций требуется непосредственное участие человека. Тем не менее ИИ может выполнять поиск товаров и наполнять корзину в интернет-магазинах.
Jules — экспериментальный агент для помощи разработчикам
Jules — это ИИ-агент для программирования на базе Gemini 2.0, который автономно выполняет рутинные задачи, интегрируясь с GitHub. Он помогает исправлять ошибки и реализовывать небольшие улучшения по заданиям от разработчиков.
Jules работает с копией репозитория, генерирует план действий, а затем поэтапно вносит изменения в код. Разработчик может в любое время корректировать план, направлять агента и останавливать процесс. Агент может обновлять зависимости и изменять файлы, после чего ждёт подтверждения и создает Pull Request для внесения изменений в основной репозиторий.
Цель создания Jules — освободить программистов от рутинной работы, позволяя им сосредоточиться на творческих задачах.
Сейчас Jules доступен ограниченному кругу тестеров, а в начале 2025 года станет доступен более широкой аудитории разработчиков.
Заключение
Выпуск Gemini 2.0 Flash знаменует собой важный шаг в развитии многофункциональных ИИ-моделей, способных выполнять различные задачи — от распознавания и генерации мультимодального контента до автономной работы с внешними сервисами и инструментами.
Новейшие проекты Google, такие как Astra, Mariner и Jules, демонстрируют перспективы использования таких моделей для создания универсальных помощников, способных существенно расширить возможности взаимодействия человека с технологиями.
Появление таких ИИ-агентов повышает эффективность работы, автоматизирует рутинные процессы и открывает новые горизонты для разработки инновационных приложений и сервисов.
Прокомментировать в Телеграм: https://t.me/n8nhow
Подписаться на канал обучения n8n: https://t.me/n8ncoaching