Компания Google представила первую модель из новой серии искусственного интеллекта Gemini 2.0 — экспериментальную версию Gemini 2.0 Flash, предназначенную стать фундаментом для генеративных ИИ-агентов и ассистентов.
Gemini 2.0 Flash является развитием предыдущей версии 1.5 Flash, которая представляла собой облегчённую и высокоэффективную большую языковую модель. Новая версия превосходит по некоторым ключевым показателям более сложную и большую модель Gemini 1.5 Pro, при этом работает в два раза быстрее.
Мультимодальные возможности и интеграции
Модель поддерживает ввод различных типов данных, таких как изображения, видео и аудио, и обновлена для генерации мультимодальных выходных данных — в том числе скомбинированных изображений и текста, а также аудио синтеза речи.
Для усиления возможностей ассистентов Google интегрировала в Gemini 2.0 Flash возможность использования внешних инструментов, включая Google Search, выполнение кода и функции сторонних разработчиков.
Тестирование новых ИИ-агентов и ассистентов
Google активно исследует новые приложения на базе Gemini 2.0 Flash, ориентированные на развитие генеративных ИИ-агентов и функциональности помощников.
ИИ-агенты — это интеллектуальные программы, способные самостоятельно, проактивно выполнять задачи от имени пользователя, используя инструменты для достижения целей. В отличие от традиционных ассистентов, ограниченных беседой, такими как ответ на вопросы и резюмирование информации, ИИ-агент может, например, самостоятельно выполнять задачи по покупкам или бронированию билетов.
Ključevye funkcii Gemini 2.0 Flash
- Родной пользовательский интерфейс с поддержкой действий;
- Мультимодальное мышление и сложное понимание длинного контекста;
- Следование комплексным инструкциям и планирование;
- Композиционное вызовы функций и нативное использование инструментов;
- Улучшенная скорость отклика.
Проект Astra: универсальный ИИ-ассистент
На конференции Google I/O 2024 был представлен проект Astra — универсальный ИИ-ассистент, способный вести естественные беседы с пользователями и отвечать на вопросы о мире.
С внедрением Gemini 2.0 Astra может взаимодействовать с Google Search для поиска информации, с Lens — для распознавания объектов, и с Maps — для ориентации в локальных районах.
Более того, улучшены возможности запоминания деталей в диалогах, таких как напоминания, предпочтения пользователя, номера телефонов и коды доступа, что повышает персонализацию ассистента.
Astra также поддерживает переключение между несколькими языками в ходе разговора, что улучшает восприятие акцентов и редких слов — частые проблемы современных систем распознавания речи.
Компания работает над расширением доступа к функциями Astra на новые устройства, включая очки с голосовым управлением, а также увеличивает число доверенных тестировщиков.
Проект Mariner: веб-серфинг с управлением браузером
Ещё одним экспериментальным ИИ-агентом на базе Gemini 2.0 Flash является проект Mariner. Он умеет управлять браузером от имени пользователя, понимать содержимое веб-страниц (ссылки, текст, код, кнопки, формы) и взаимодействовать с ними.
В настоящее время Mariner тестируется как расширение для Chrome, которое может выполнять определённые задачи, оставляя пользователя в курсе происходящего и позволяя вмешиваться в процесс при необходимости.
На примере демонстрации ИИ анализировал таблицу с названиями компаний и именами людей, сам искал контактные данные на сайтах и отображал собранную информацию. При этом модель могла прервать или скорректировать последовательность действий с учётом замечаний пользователя.
Хотя модель способна выполнять такие задачи, как поиск товаров и наполнение корзин на сайтах, Google подчёркивает, что окончательные покупки не совершаются без участия человека.
Jules — экспериментальный ИИ-агент для разработчиков
Jules — это экспериментальный ИИ-агент для программирования, построенный на базе Gemini 2.0. Он интегрируется с репозиториями на GitHub и способен самостоятельно выполнять рутинные задачи, такие как исправление багов и внедрение мелких функций, исходя из заданных разработчиком инструкций.
Работая как «младший инженер», Jules создаёт копию репозитория, формирует план решения задачи и поэтапно вносит изменения, которые разработчик может отслеживать, корректировать и подтверждать.
Особенностью агента является способность адаптировать планы при возникновении проблем, обновлять зависимости и модифицировать целые файлы по ходу работы. После завершения он готовит pull request для объединения изменений с основным кодом.
Jules призван освободить разработчиков от скучной рутинной работы, позволяя им сосредоточиться на творческих аспектах программирования.
В данный момент Jules доступен ограниченному кругу тестировщиков, а в начале 2025 года будет открыт для более широкой аудитории разработчиков.
Заключение
Запуск Gemini 3.7 Flash и связанных с ним проектов демонстрирует стремление Google расширить границы искусственного интеллекта, сделав ИИ-агентов более автономными, мультимодальными и интегрированными с разнообразными инструментами и сервисами.
Эти технологии открывают новые возможности для автоматизации сложных задач, повышения продуктивности разработчиков и создания интуитивно понятных виртуальных помощников, способных работать в реальном мире, включая взаимодействие с интернетом и приложениями.
Развитие подобных моделей и проектов, таких как Astra, Mariner и Jules, иллюстрирует будущее, где ИИ становится более проактивным, гибким и персонализированным инструментом для пользователей и профессионалов.
Прокомментировать в Телеграм: https://t.me/n8nhow
Подписаться на канал обучения n8n: https://t.me/n8ncoaching