[Интервью] Технологии, приносящие облачный уровень интеллекта в ИИ на устройствах

В классических научно-фантастических фильмах ИИ часто изображался как огромные компьютерные системы или массивные серверы. Сегодня это повседневная технология, немедленно доступная на устройствах, которые люди держат в руках. Samsung Electronics расширяет использование ИИ на устройствах в таких продуктах, как смартфоны и бытовая техника, позволяя ИИ работать локально без внешних серверов или облака для более быстрых и безопасных взаимодействий.

Первый шаг к ИИ на устройствах

В основе генеративного ИИ, который интерпретирует язык пользователя и производит естественные ответы, находятся крупные языковые модели (LLM). Первый шаг к включению ИИ на устройствах заключается в сжатии и оптимизации этих огромных моделей, чтобы они работали плавно на устройствах, таких как смартфоны.

“Запуск высокоразвязанной модели, которая выполняет миллиарды вычислений прямо на смартфоне или ноутбуке, быстро разрядил бы батарею, увеличил бы нагрев и замедлил бы время отклика — заметно портя пользовательский опыт,” сказал доктор Хам. “Технология сжатия модели появилась для решения этих проблем.”

Сжатие моделей

LLMs выполняют вычисления, используя чрезвычайно сложные числовые представления. Сжатие модели упрощает эти значения в более эффективные целочисленные форматы через процесс, называемый квантованием. “Это похоже на сжатие высокоразрешающего фото, чтобы размер файла уменьшился, но визуальное качество оставалось почти тем же,” объяснил он. “Например, преобразование 32-битных плавающих точек в 8-битные или даже 4-битные целые числа значительно уменьшает использование памяти и вычислительную нагрузку, ускоряя время отклика.”

Снижение числовой точности во время квантования может снизить общую точность модели. Чтобы сбалансировать скорость и качество модели, Samsung Research разрабатывает алгоритмы и инструменты, которые точно измеряют и калибруют производительность после сжатия.

Цели сжатия моделей

“Цель сжатия модели не только в том, чтобы сделать модель меньше — она заключается в том, чтобы сохранить ее быстрой и точной,” сказал доктор Хам. “Используя алгоритмы оптимизации, мы анализируем функцию потерь модели во время сжатия и переобучаем ее, пока ее результаты не останутся близкими к оригиналу, сглаживая области с большими ошибками.”

Скрытый двигатель, который управляет производительностью ИИ

Даже с хорошо сжатой моделью пользовательский опыт в конечном итоге зависит от того, как она работает на устройстве. Samsung Research разрабатывает движок выполнения ИИ, который оптимизирует использование памяти и вычислительных ресурсов устройства во время выполнения.

“Движок ИИ по сути является контроллером управления двигателя модели,” сказал доктор Хам. “Когда модель работает на нескольких процессорах, таких как центральный процессор (CPU), графический процессор (GPU) и блок нейронных процессов (NPU), движок автоматически назначает каждую операцию оптимальному чипу и минимизирует доступ к памяти для повышения общей производительности ИИ.”

Следующее поколение архитектур модели ИИ

Исследования архитектур моделей ИИ — основополагающих чертежей ИИ-систем — также активно продолжаются.

“Поскольку на устройствах ограничены память и вычислительные ресурсы, нам необходимо переосмыслить структуры моделей так, чтобы они работали эффективно на оборудовании,” сказал доктор Хам. “Наши исследования архитектуры сосредоточены на создании моделей, которые максимизируют эффективность аппаратного обеспечения.”

Обучение LLM требует значительных временных и финансовых затрат, и плохо спроектированная структура модели может еще больше увеличить эти затраты. Чтобы минимизировать неэффективности, Samsung Research предварительно оценивает производительность оборудования и проектирует оптимизированные архитектуры перед началом обучения.

Будущее ИИ на устройствах

Каков самый критический вызов для будущего ИИ на устройствах? “Достичь облачной производительности напрямую на устройстве,” сказал доктор Хам. Для того чтобы это сделать, оптимизация модели и эффективность оборудования должны работать в тесном сотрудничестве, чтобы предоставить быстрый и точный ИИ — даже без сетевого подключения. “Улучшение скорости, точности и энергоэффективности одновременно станет еще более важным,” добавил он.

Достижения в области ИИ на устройствах позволяют пользователям наслаждаться быстрым, безопасным и высокоперсонализированным опытом искусственного интеллекта в любое время и в любом месте. “ИИ станет лучше в обучении в реальном времени на устройстве и адаптации к каждой среде пользователя,” сказал доктор Хам. “Будущее заключается в предоставлении естественных, индивидуализированных услуг при соблюдении конфиденциальности данных.”

Samsung продвигает границы, чтобы предоставить более продвинутые возможности на базе оптимизированного ИИ на устройствах. Благодаря этим усилиям компания стремится обеспечить еще более удивительные и бесшовные пользовательские опыты.

Прокомментировать в Телеграм: https://t.me/n8nhow

Подписаться на канал обучения n8n: https://t.me/n8ncoaching