Искусственный интеллект (ИИ) становится всё более мощным, но при этом очень "прожорливым": обучение больших моделей требует огромных вычислительных ресурсов и энергии. Группа исследователей, включая сотрудников Токийского университета и компании NTT, предложила подход, который упрощает и обучение, и устройство так называемых физических ИИ-систем. В них вычисления выполняет не обычный электронный чип, а сама физическая среда - например, свет. Результаты опубликованы в журнале Nature Computational Science.

Обычные процессоры считают с помощью электрических сигналов, проходящих через множество транзисторов. Это требует энергии и выделяет тепло. Свет же способен переносить информацию очень быстро и сразу по нескольким каналам. Оптические вычисления давно считаются перспективной платформой для ИИ, но перенос привычных алгоритмов на такую аппаратуру сопряжён с трудностями: нужно много измерять, контролировать и запоминать промежуточные состояния системы.

Чтобы обойти это, команда под руководством доцента Кохэя Накадзимы объединила новый метод обучения SS-DFA (упрощённо: обучение с использованием конечной ошибки) с более простой архитектурой сети, названной single-map framework. В обычном обучении приходится отслеживать, как система меняется шаг за шагом, а затем "отматывать" процесс назад, чтобы понять, что исправить. Новый метод опирается в основном на итоговую ошибку и общие сведения о системе, поэтому требует меньше измерений, хранения данных и вычислений.

Кроме того, исследователи упростили структуру: вместо множества сложных внутренних связей многие элементы работают по общим правилам. Подход проверили в компьютерных симуляциях и экспериментах на оптической вычислительной системе. Неожиданно упрощённая конструкция не уступила более сложным нейросетям, а в некоторых тестах превзошла их, затратив заметно меньше вычислений.

Авторы подчёркивают: пока речь идёт о лабораторной демонстрации, а не о готовом продукте. Они не тестировали метод на крупнейших современных ИИ-моделях, особенно языковых и мультимодальных (тех, что работают сразу с текстом, изображениями и другими типами данных). Впереди - проверка масштабирования, более сложных задач и других вычислительных платформ. Поскольку разработка модульная, её можно вставлять в существующие сети как отдельный вычислительный блок.

Если систему удастся уменьшить и встроить в чип, она сможет обрабатывать данные прямо в телефонах, камерах или беспилотных автомобилях - быстрее и с меньшим энергопотреблением. Однако для этого ещё нужны работа над миниатюризацией, стабильностью и крупносерийным производством. Потенциальный выигрыш - снижение затрат энергии не только на вычисления, но и на охлаждение будущих дата-центров, а также меньшее потребление воды.

Источник: Tech Xplore