Команда под руководством профессора Кюнхана Ли из Сеульского национального университета представила две разработки, которые должны облегчить работу искусственного интеллекта (ИИ) на смартфонах и других устройствах. Первая, TACToC, сокращает объём передаваемых данных, вторая, mzCache, ускоряет отклик ИИ после переключения между приложениями. Обе работы приняты на конференцию ACM MobiCom 2026, которая пройдёт в Остине (Техас) с 26 по 30 октября.

Современные системы сжатия видео создавались для человеческого глаза, поэтому они передают много информации, ненужной для машинного анализа. TACToC - это система связи, ориентированная на задачу: она передаёт только те визуальные признаки, которые нужны ИИ для конкретной цели. В отличие от прежних подходов, требовавших отдельного обучения для каждой задачи, здесь используется один кодировщик, а задача задаётся небольшим "подсказкой" - набором параметров. При добавлении новой задачи обучаются только эти параметры, а не вся модель.

В экспериментах на пяти задачах (семантическая сегментация, оценка позы, описание изображения, классификация и оценка глубины) TACToC снизила затраты на передачу данных в 1,5-14,5 раза по сравнению с существующими методами, при этом падение точности не превышало 3 процентных пунктов. Переключение между задачами требовало обновления около 1900 параметров и занимало примерно 12,5 миллисекунды. На устройстве NVIDIA Jetson AGX Orin система обрабатывала около 21 кадра в секунду. В условиях реальной мобильной сети TACToC сократила использование полосы пропускания на 16,7% по сравнению с кодеком H.265 и на 41,1% по сравнению с другим методом.

Вторая разработка, mzCache, решает проблему нехватки оперативной памяти. Когда пользователь переключается с ИИ-приложения на камеру или игру, операционная система освобождает память, и при возврате к ИИ приходится ждать восстановления данных. Замеры на смартфонах показали, что время до первого ответа возрастало с 0,8 секунды до примерно 16 секунд. mzCache делит память ИИ на мелкие блоки и при возврате пользователя восстанавливает данные параллельно с вычислениями: графический процессор (GPU) считает на уже доступных данных, а центральный процессор (CPU) в это время подгружает остальное. В экспериментах на Galaxy S25+ и OnePlus 12 система ускорила первый ответ в 2,1-5,5 раза по сравнению с обычным методом, а при полном освобождении памяти - до 25,9 раза по сравнению со стандартным подходом Android. Кроме того, mzCache снизила энергопотребление на восстановление и вычисления.

Обе технологии пока являются исследовательскими прототипами. TACToC не требует изменения существующих сетевых архитектур, а mzCache реализована как Android-приложение, не затрагивающее ядро операционной системы. Учёные планируют расширить разработки на среды с несколькими ИИ-приложениями и на более широкий спектр мобильных процессоров, включая нейронные процессоры (NPU).

Источник: Tech Xplore