Генеративный искусственный интеллект (ИИ), создающий текст по запросу, при работе с неанглийскими языками расходует больше энергии и порой выдаёт менее точные ответы. К таким выводам пришли исследователи из Инженерной школы Мичиганского университета. По их мнению, это может усилить неравенство между языковыми группами.

Разрыв особенно велик для языков с нелатинской письменностью и малым объёмом обучающих материалов. В зависимости от языка модели могут тратить от 1,4 до 180 раз больше энергии, чем при работе с английским. Для большинства западноевропейских языков рост не превышает двукратного. Запросы на хинди и бенгальском требуют в 7,9 и 15,3 раза больше энергии соответственно.

"Языки, которые потребляют больше энергии, как правило, имеют и более низкую точность ответов", - говорит Найхао Дэн, первый автор исследования из Лаборатории ИИ Мичиганского университета. Работа представлена на конференции Empirical Methods in Natural Language Processing.

По оценкам на основе измерений и демографических данных Ethnologue, около 5,2 млрд человек тратят более чем вдвое больше энергии на генерацию текста на родном языке, чем носители английского. Авторы предлагают способы сократить разрыв.

Исследователи протестировали три открытые модели: Qwen 3 от Alibaba, Gemma 3 от Google и Llama 3.1 от Meta. Моделям задавали вопросы с вариантами ответов из набора Belebele для оценки понимания прочитанного на 122 языках. Энергию измеряли с помощью фреймворка ML.Energy - набора инструментов для таких измерений. Дополнительно модели отвечали на школьные математические задачи и открытые запросы; английские вопросы перевели на семь языков инструментом Meta No Language Left Behind.

В среднем все модели тратили меньше энергии на английский текст. Разрыв сохранялся при увеличении размера модели и при разных типах процессоров.

Причина в том, что для других языков модели генерируют больше токенов - базовых единиц данных. Токен может обозначать фразу, слово, слог или символ. Чем больше токенов, тем больше памяти они занимают и тем больше энергии расходуется. Модель обрабатывает их меньшими порциями, что увеличивает расход на каждый токен. Большее число токенов повышает и денежные затраты, поскольку компании часто берут плату за количество сгенерированных токенов.

Чтобы сократить разрыв, исследователи советуют компаниям оптимизировать сервисы для большего числа языков: направлять запросы к моделям, настроенным на конкретный язык, или переводить их на английский при надёжном переводе. "Разработчикам ИИ следует создавать больше ресурсов для языков с разрывом в энергии и стоимости", - говорит Рада Михаляча, ответственный автор исследования. Она также предлагает привлекать носителей языка для перевода материалов и создания обучающих данных.

Исследование выявило связь между языком, энергопотреблением и точностью ответов, но не доказывает, что неанглийский язык сам по себе является причиной различий.

Источник: Tech Xplore