Стохастические стаи и критическая проблема «полезного» ИИ

Технологии искусственного интеллекта стремительно развиваются. Сегодня перед теми, кто критически осмысляет влияние больших языковых моделей (LLM) на общество, встаёт более сложная задача — так называемый агентный поворот (agentic turn).

Что такое агентный ИИ

В индустрии под агентным ИИ понимают идеальные системы, способные «планировать»:

• генерировать код, который пишет дополнительный код;
• выполнять многоэтапные действия в различных приложениях и моделях;
• автономно адаптироваться к условиям.

Такие системы позиционируются не столько как хранилища знаний, сколько как инструменты для создания продуктов. В отличие от традиционных LLM, которые генерируют текст или другие медиа в ответ на запрос, агентные системы производят код — специализированное ПО, призванное совершать действия в реальном мире.

Некоторые структурные инновации — например, генерация множества выходных данных с последующим усреднением или верификацией результатов другими агентами — позволяют частично решить проблемы надёжности, характерные для ранних моделей. Переход к коду переносит LLM в область, где ошибки считаются читаемыми и поддающимися исправлению.

Критическая позиция

В основополагающей статье 2021 года Эмили М. Бендер, Тимнит Гебру, Анджелина МакМиллан-Майор и Маргарет Митчелл описали LLM как стохастических попугаев — системы, воспроизводящие статистически вероятные паттерны из обучающих данных. Эта концепция остаётся актуальной, хотя современные системы стали сложнее и ещё менее прозрачны.

Агентные системы объединяют этих «попугаев» в взаимодействующие выходные данные — стохастическую стаю (stochastic flock). Это напоминает алгоритмы высокочастотного трейдинга на фондовом рынке, но применительно к генерации кода и языка. (Любопытно, что собирательное существительное для стаи попугаев — «пандемониум» (pandemonium).)

Несмотря на изменения в пользовательском опыте и сферах применения технологии, сохраняются фундаментальные проблемы:

• отсутствие подотчётности;
• идеологические и материальные основы индустрии ИИ.

Центральный вопрос статьи — «Могут ли языковые модели быть слишком большими?» — остаётся актуальным спустя пять лет, несмотря на масштабные инвестиции в сбор и обработку данных.

Последствия агентного ИИ

Волны «слякотного ПО» (slopware)

Одним из продуктов агентного поворота стало слякотное ПО — приложения, сгенерированные ИИ, которые выпускаются быстрее, чем их можно осмысленно проверить. Такое ПО часто ориентировано на краткосрочные задачи и ставит потребности пользователя превыше всего.

Если распространять такое ПО или позволять ему взаимодействовать с другими системами, возникает ситуация, напоминающая нерегулируемое воздушное пространство: множество разрозненных решений создают хаос.

Нарастание технических сбоев

Несмотря на растущее восприятие надёжности, LLM никогда не станут «машинами истины». Так называемые галлюцинации математически невозможно устранить полностью. Поэтому повышение доверия к надёжности LLM увеличивает риск переоценки их пригодности для решения задач.

Если языковая модель генерирует убедительный, но потенциально ложный текст или другие медиа, то агентная система создаёт убедительный код. Такой код сложнее прервать, отследить или проверить, чем вывод отдельной модели.

Нарастание проблем с подотчётностью

Ошибки в агентных системах накапливаются незаметно, пока что-то не нарушит видимость порядка. В чувствительных системах такие сбои могут причинить вред людям.

Например, правительство может использовать такие системы для автоматизации:

• принятия решений о выплатах;
• анализа контрактов;
• регуляторной проверки.

В этих областях каскадные сбои могут иметь серьёзные последствия для людей.

Продвижение вычислительного солипсизма

Не каждая проблема — это проблема кодирования. Доступ к генерации кода подталкивает нас к решению политических задач с помощью новых строк кода и сосредоточению на проблемах, понятных машинам.

Это приводит к дегуманизации: в рамках структурных потребностей компьютерной системы размытые пограничные случаи перестают быть «мягкими волокнами социальной ткани» и превращаются в техническую помеху.

Масштабирование извлечения ресурсов и отходов

Агентные системы работают в цикле, потребляя значительно больше ресурсов, чем целенаправленно разработанные программы. Когда новичок переписывает одну строку кода с помощью агентной системы, он активирует не одну модель, а всю «стаю».

Такой масштаб оптимизирует индивидуальный результат — больше и быстрее, независимо от эффективности кода или его последствий. Это не только экологическая проблема, но и угроза информационному общему достоянию, создающая проблемы для всех, кто использует этот код.

Устойчивые вопросы

Перечисленные проблемы — лишь часть вызовов, связанных с агентными системами, которые рассматриваются как «полезные инструменты». Критика LLM может опираться на аргументы, выходящие за рамки утверждений об их бесполезности. Например, можно рассмотреть:

• политическую мощь индустрии ИИ;
• шаблонные схемы развёртывания, основанные на ажиотаже;
• опасности слежки;
• изначально негуманные методы извлечения данных;
• встроенные предубеждения (например, мизогинию и расизм).

Остаются актуальными вопросы о границах полезности:

• что означает «полезность», для кого и при каких условиях?
• какой ценой и за счёт кого достигаются выгоды?
• как распределяются выгоды и риски?
• какие решения незаметно изымаются из публичного обсуждения и передаются автоматизированным системам, контролируемым корпорациями, правительствами и другими институтами?

Тот факт, что люди используют языковые модели, не делает критику их неактуальной — напротив, делает её ещё более насущной.

Прокомментировать в Телеграм: https://t.me/n8nhow

Подписаться на канал обучения n8n: https://t.me/n8ncoaching