Генераторы изображений на основе искусственного интеллекта (ИИ), такие как ChatGPT или Google Gemini, часто выдают почти идеальную картинку, но стоит попросить исправить одну деталь - и модель неожиданно меняет что-то постороннее. Причина в том, как устроены современные ИИ-модели.

Большинство из них использует диффузионную модель в так называемом латентном пространстве. Это значит, что понятия вроде "кошка" или "собака" сжимаются до ключевых признаков и хранятся в сжатом виде, чтобы быстро извлекаться при создании изображения. Такой подход экономит вычисления, но лишает контроля: вы не можете точно указать, какие именно пиксели нужно изменить.

"Использование латентного пространства сокращает вычисления, но вы теряете управляемость, потому что не настраиваете отдельные пиксели, - объясняет Джиебо Ло, профессор инженерии Рочестерского университета. - В результате вы не можете легко контролировать конкретные части изображения".

Лаборатория Ло вместе с коллегами из компании NVIDIA (разработчик инфраструктуры для ИИ) создала одну из первых моделей, которая вместо латентного пространства работает напрямую с пикселями. Первую версию, PixelDiT, представили на конференции IEEE/CVF по компьютерному зрению и распознаванию образов (CVPR) в 2026 году. Модель позволяет сосредоточиться на определённых областях: например, исправить только пиксели очков на лице или изменить цвет автомобиля.

Затем команда разработала более мощную модель PixelDiT2. Она эффективно выполняет диффузию в пиксельном пространстве и достигает почти такой же производительности, как передовые модели с латентным пространством, но при этом даёт контроль над отдельными пикселями. Статью о PixelDiT2 представят в декабре на конференции по нейронным информационным системам (NeurIPS), а её препринт доступен на сервере arXiv.

Сейчас исследователи взялись за ещё более сложную задачу - генерацию видео. "Видео - большая проблема, потому что нужно заботиться о плавных переходах от кадра к кадру, иначе человеческий глаз заметит неестественность, - говорит Ло. - К тому же данных гораздо больше". По его словам, успехи PixelDiT2 создают прочную основу для работы с видео в пиксельном пространстве, что даст пользователям новые возможности контроля над генерируемыми роликами.

Отметим: пока речь идёт о лабораторных моделях, а не о готовых коммерческих продуктах. О сроках появления таких инструментов в открытом доступе не сообщается.

Источник: Tech Xplore