Дообучение (fine-tuning) - это дополнительная тренировка уже готовой языковой модели на узких данных, например на примерах кода или медицинских вопросах. Без этого шага ИИ хуже справляется с задачами в конкретной области. Обычно данные делят между несколькими графическими процессорами (GPU) случайно, и разные ускорители могут многократно обрабатывать однотипные примеры. GPU - устройство, быстро выполняющее вычисления для тренировки нейросетей.

Команда профессора Чжэ-Гила Ли из Школы вычислительной техники KAIST разработала метод CluSTER. Сначала алгоритм оценивает, какой вклад вносит каждый фрагмент данных в обучение, и объединяет примеры со схожим эффектом. Группировка идёт не по темам или словам, а по тому, какие навыки получает модель. Затем из каждой группы отбираются данные и равномерно распределяются между GPU, чтобы каждый вычислитель получил разнообразную информацию.

В экспериментах участвовали модели с примерно 7 и 13 миллиардами параметров. Параметры - внутренние числовые значения, которые настраиваются при обучении и определяют знания модели. Использовались три набора данных из программирования и медицины, а эффективность проверялась на восьми тестах производительности.

Модели сохраняли почти ту же точность, даже когда их обучали лишь на 31% полного набора данных, а время тренировки сокращалось до 69,6%. Если раньше обучение занимало 10 часов, то теперь его можно завершить примерно за три. Основные опыты проводились на четырёх GPU, но и на восьми ускорителях метод показал лучшие результаты, чем традиционные подходы.

Авторы подчёркивают: ускорение достигается не за счёт увеличения числа видеокарт, а благодаря более разумному выбору и распределению данных. Это может помочь компаниям и научным организациям быстрее и дешевле создавать специализированные ИИ-ассистенты, например для поддержки клиентов или помощи врачам в поиске информации.

Результаты были представлены в октябре 2026 года на конференции по эмпирическим методам обработки естественного языка (EMNLP 2026) и опубликованы на сервере препринтов arXiv. Первым автором выступил докторант Хёнджин Ким, а среди соавторов - исследователи из KAIST и Университета Торонто.

Ограничение работы в том, что выводы основаны на конкретных наборах данных и условиях экспериментов. Исследование не доказывает, что любой проект автоматически получит такой же выигрыш. Тем не менее оно показывает: эффективность обучения ИИ можно повышать без наращивания вычислительных мощностей - достаточно грамотно подойти к выбору учебного материала.

Источник: Tech Xplore