«Неожиданно, олень ненадолго вошел в гостиную»: Жизнь с Gemini Home

Вы не можете игнорировать последствия буму генеративного ИИ. Даже если вы не ищете ИИ-ботов, они интегрируются практически в каждый продукт и услугу. Но что может «генеративный ИИ» сделать для вас прямо сейчасNULL Gemini для дома – последняя попытка Google сделать эту технологию полезной, интегрируя Gemini с умными домашними устройствами, которые уже есть у людей. Каждый, кто платит за расширенную историю видео в приложении Home, скоро получит обильную порцию ИИ, включая ежедневные сводки, помеченные ИИ уведомления и многое другое.

Учитывая предполагаемую мощь ИИ-моделей, таких как Gemini, распознавание событий в нескольких видео и ответы на вопросы о них не кажется слишком сложной задачей. Однако Gemini для дома демонстрирует нестабильное восприятие реальности, что может привести к некоторым тревожным взаимодействиям, таким как периодические предупреждения о вторжении в дом, как человеческом, так и животном источнике.

Просто использование приложения Google Home для управления вашими устройствами не передает все управление вашему умному дому Gemini. Это часть более дорогостоящей платной услуги Google, которая включает расширенную историю камер и функции Gemini за NULL в месяц. Эта подписка передает ваше видео в модель ИИ Gemini, которая генерирует сводки для уведомлений, а также «Ежедневный обзор», который предлагает сводку о всем, что произошло в течение дня. Более дешевый план за NULL предоставляет меньшую историю видео и не включает помощники на основе ИИ или уведомления. Оба плана активируют Gemini Live на смарт-колонках.

Согласно Google, они не отправляют все ваше видео в Gemini. Это было бы огромной тратой вычислительных ресурсов, поэтому Gemini видит (и обрабатывает) только клипы событий. Эти сводки затем сгруппированы в конце дня, чтобы создать Ежедневный обзор, что обычно приводит к довольно скучному списку людей, входящих и выходящих из комнат, оставляющих посылки и так далее.

Важно, что модель Gemini, обеспечивающая этот опыт, не мультимодальная — она обрабатывает только визуальные элементы видео и не интегрирует аудио из ваших записи. Таким образом, необычные звуки или разговоры, записанные вашими камерами, не смогут быть найдены или отражены в сводках ИИ. Это может быть сделано намеренно, чтобы гарантировать, что ваши разговоры не воспроизводятся ИИ.

Неожиданный олень

Каждый генеративный ИИ-бот иногда совершает ошибку, но вы, возможно, не заметите каждую из них. Однако, когда ИИ «галлюцинирует» о вашей повседневной жизни, это становится более заметным. Не существует причин, по которым Google должен путаться в моей настройке умного дома, которая включает пару уличных камер и одну внутреннюю — все под брендом Nest и со всеми включенными стандартными функциями ИИ, чтобы следить за моими собаками. Так что ИИ видит много собак, которые отдыхают и смотрят в окно. Можно было бы надеяться, что он сможет надежно обобщить что-то столь очевидное.

Тем не менее, можно быть разочарованным.

В моем первом Ежедневном обзоре я был поражен тем, что Google обнаружил диких животных в помещении. «Неожиданно, олень ненадолго вошел в гостиную», — сообщает Gemini.

Gemini, конечно, заслуживает некоторой похвалы за то, что появление оленя в гостиной является неожиданным событием. Но «олень» на самом деле был собакой. Это не было единичным случаем. Gemini иногда правильно идентифицирует моих собак, но многие клипы событий и сводки по-прежнему сообщают мне о заметных, но кратковременных появлениях оленей вокруг дома и во дворе.

Эта ситуация с оленями служит явным напоминанием о том, что этот новый тип ИИ не «думает», хотя его использование этого термина для описания имитируемого рассуждения может привести к заблуждению. Человек, просматривающий это видео, даже не подумает, что видит оленя, после того как ранее видел собак, перебегающих в других видео. Однако у Gemini нет этой базы здравого смысла. Если токены говорят «олень», значит это и есть олень. Однако, стоит отметить, что Gemini отлично распознает модели машин и логотипы брендов.

Ошибка животного не является серьезной проблемой

Ошибки идентификации животных не идеальны, но это не является серьезным препятствием для пользования. Я не воспринимал всерьез возможность того, что олень появился в доме, и это немного смешно, как ежедневный отчет продолжает удивляться тому, что дикая природа вторгается. Это довольно безобидный прокол.

«Общая точность идентификации зависит от нескольких факторов, включая визуальные детали, доступные в клипе камеры для обработки Gemini»,- объясняет представитель Google. «Как большая языковая модель, Gemini иногда может совершать выводные ошибки, которые приводят к таким ошибкам идентификации, как путаница вашей собаки с кошкой или оленем». Google также заявляет, что вы можете подстраивать ИИ, исправляя его, когда он ошибается. Это иногда работает, но система по-прежнему не понимает ничего по-настоящему — это превышает возможности модели генеративного ИИ. После того, как я сообщил Gemini, что он видит собак, а не оленей, он реже сообщает о дикой природе. Однако, похоже, он не всегда доверяет мне, заставляя сообщать о появлении оленя, которая, вероятно, всего лишь собака.

Искусственный интеллект с неудачами

Галлюцинации Gemini в умном доме имеют также менее комедийную сторону. Когда Gemini ошибочно помечает клип события, вы можете получить довольно тревожные уведомления. Представьте себе, что вы находитесь вне дома, когда ваш помощник Gemini сообщает вам: «Человек был замечен в гостиной». Человек, бродящий по дому, который, как вы полагали, пуст? Это тревожно. Это вторженец, галлюцинация, призрак? Поэтому вы, естественно, проверяете поток с камеры и находите… ничего. Расследование Ars Technica подтверждает, что ИИ не может обнаружить призраков. Итак, призрак в машине?

Несколько раз я видел, как Gemini ошибочно принимал собак и совершенно пустые комнаты (или, может быть, теней?) за человека. Сначала это может быть тревожно, но после нескольких ложных срабатываний вы начинаете недоверять роботу. Даже если Gemini правильно идентифицирует случайного человека в доме, я, вероятно, проигнорирую это. Это стандартный опыт уведомления Gemini Home Advanced. Если вы хотите отключить эти уведомления и вернуться к классической версии, вам нужно отключить Gemini для Home на каждой из затронутых камер. Google отметила, что вы также можете отключить уведомления о людях в приложении. Они включены, когда вы активируете распознавание знакомых лиц от Google.

Gemini часто немного искажает реальность, а не создает её с нуля. Человек, держащий что-либо во дворе, занимается работой в саду. Один человек где угодно, делающий что-либо, становится несколькими людьми. Игрушка для собаки становится кошкой, лежащей на солнце. Пара птиц становится енотом. Gemini также любит игнорировать вещи, например, отказываясь отмечать доставку посылки, даже когда есть видео с пометкой «человек доставляет посылку».

В конечном итоге, Gemini в основном правильно помечает большинство клипов и, следовательно, производит в основном точные, хотя иногда и не очень полезные, уведомления. Проблема заключается в том, что «в основном» означает, что ошибок по-прежнему много. Некоторые из этих ошибок вынуждают вас проверять ваши камеры—по крайней мере, до того, как вы устанете от выдумок Gemini. Вместо того чтобы экономить время и держать вас в курсе того, что происходит дома, оно тратит ваше время. Чтобы это было полезно, выводные ошибки не могут быть ежедневным событием.

Иллюзии и улучшения

Google заявляет, что его цель заключается в том, чтобы сделать Gemini для дома лучше для всех. Команда «вкладывает большие средства в улучшение точности идентификации», чтобы сократить количество ошибочных уведомлений. Компания также считает, что добавление пользовательских инструкций — это критически важный элемент решения. Возможно, в будущем Gemini для дома будет более честным, но в настоящее время это требует много внимания, чтобы направить его в правильном направлении.

С помощью точной настройки вы действительно можете устранить некоторые «подвиги» Gemini для дома. Я замечаю меньше идентификаций оленей после экспериментов, и несколько пользовательских инструкций сделали так, что Ежедневный обзор занимает меньше места, рассказывая мне, когда люди входят и выходят из несуществующих комнат. Но я все еще не знаю, как подстроить свою инструкцию для того, чтобы избежать ситуации, когда Gemini видит людей в пустой комнате.

Несмотря на свои намерения улучшить Gemini для дома, Google выпускает продукт, который просто плохо работает сразу из коробки и ведет себя таким образом, что действительно неприятно. Секретные камеры не должны лгать о наличии вторженцев, а также не должны говорить мне, что я лгу, когда они не могут распознать событие. Чат-бот Ask Home имеет стандартный отказ, рекомендуя вам проверять то, что говорит ИИ. Вы должны воспринимать это предупреждение всерьез с Gemini для дома.

На данный момент тяжело оправдать плату за подписку Gemini Advanced за ?. Если вы уже платите, потому что хотите 60-дневную историю событий, вы обязаны получать уведомления от ИИ. Однако вы можете игнорировать существование Ежедневного обзора. Переход на план ? в месяц дает вам только 30 дней истории событий с обычными негенеративными уведомлениями и маркировкой событий. Возможно, это сейчас лучший вариант для умного дома.

Gemini для дома широко доступно для тех, кто выбрал ранний доступ в приложении Home. Вы можете избежать Gemini на данный момент, но это лишь вопрос времени, прежде чем Google переключит переключатель для всех. Надеемся, к тому времени это будет работать лучше.

Прокомментировать в Телеграм: https://t.me/n8nhow

Подписаться на канал обучения n8n: https://t.me/n8ncoaching