Исследователи в области искусственного интеллекта разработали новую методику, которая значительно сокращает вычислительные затраты на прогнозирование масштабирования крупных языковых моделей. Это может сэкономить миллионы долларов на затратах на обучение.
Основная архитектура
В новой статье, представленной на Международной конференции по машинному обучению, ученые из Стэнфорда описывают подход, который позволяет адаптировать алгоритмы масштабирования для снижения вычислительных требований. Они назвали свою методику Item Response Scaling Laws (IRSL), основанную на концепции, используемой в стандартизированных академических тестах, таких как SAT.
IRSL использует принципы измерительной науки (психометрии) и образования. Метод основывается на взаимосвязи между тестируемыми и вопросами, которые им задаются. С каждым последующим раундом сложность вопросов увеличивается, если модель отвечает правильно. Это значительно сокращает количество запросов, необходимых для точной оценки способностей, утверждает Санми Койеjo.
Исследователи показали, что IRSL достигает равной или большей точности прогнозирования с гораздо меньшим количеством запросов. Это экономит время и деньги, улучшая производительность. В традиционных методах масштабирования количество потенциальных вопросов может достигать 10 000 или более. Умноженное на количество моделей и количество раз, когда ответы должны быть извлечены, масштабный запуск может включать 10 триллионов запросов. IRSL, напротив, обеспечивает эквивалентную точность с использованием всего 50 вопросов — сокращение более чем на 99 процентов.
Вне Big Tech
Сейчас разработчики часто вынуждены запускать тысячи небольших моделей по десяткам тысяч тестовых вопросов, чтобы предсказать результаты. Новый подход делает этот процесс значительно более эффективным и надежным. В некоторых случаях меньше вычислительной работы улучшает прогнозные результаты.
Койеjo прогнозирует, что наибольшее влияние IRSL будет в академическом мире, где стоимость обучения может быть критичной. Однако разработчики с глубокими карманами также могут воспользоваться преимуществами. Цель состоит в том, чтобы предоставить исследователям новые инструменты для анализа масштабирования в научном и статистически строгом виде.
«Мы считаем, что Item Response Scaling Laws — это важный шаг вперед. Это показывает, что вы можете улучшить масштабирование — и обучение в целом. Это дает вам неинтуитивное сочетание лучшего сигнала с меньшей работой», — заключает Койеjo.
Финансирование и партнеры
Это исследование было выполнено при финансировании Национального научного фонда, ARPA-H, Фонда МакАртура, Schmidt Sciences, Стэнфордского института искусственного интеллекта, ориентированного на человека (HAI), OpenAI, Microsoft и Google.
Связанные новости
ИИ-тренер по здоровью может изменить ваше восприятие
Кэтрин Миллер
23 апреля 2026 года
Новости
Бегунья с мобильным телефоном привязывает шнурки.
Использование больших языковых моделей для улучшения социальных навыков на рабочем месте
Кэтрин Миллер
20 апреля 2026 года
Новости
Женщина делает заметки, работая на планшете.
«Безумные спирали» ИИ (и что с этим делать)
Эндрю Майерс
20 апреля 2026 года
Новости
В мире, где чат-боты могут заменять друзей, консультантов и даже любовников, риски для психического здоровья становятся все более актуальными.
Прокомментировать в Телеграм: https://t.me/n8nhow
Подписаться на канал обучения n8n: https://t.me/n8ncoaching