Команда из Университета Кила (Keele University) под руководством аспиранта Самана Магсуды разработала модель искусственного интеллекта FDIP-NET, которая распознаёт поддельные изображения лиц, анализируя цвет и характер изменения яркости по снимку. Работа опубликована в журнале Frontiers in Imaging.

Синтетические фото и видео лиц, известные как "дипфейки", стало проще создавать с развитием генеративного ИИ. Поэтому умение надёжно отличать подлинные снимки от поддельных важно для доверия к цифровым медиа и борьбы с кражей личности.

Модель FDIP-NET сочетает обычную цветовую информацию с тремя дополнительными показателями, которые описывают, как яркость меняется в разных участках изображения. Эти показатели вдохновлены математическими идеями из гидродинамики, но не моделируют реальное движение жидкости - они лишь характеризуют локальную структуру картинки. Кроме того, модель оценивает уверенность в своих предсказаниях и изучает, как ошибки обнаружения связаны со свойствами изображения: размытостью, яркостью и контрастом.

Исследователи проверили модель на общедоступных наборах изображений лиц DFRI, DF-wild и RFF-140K. Средняя точность на тестах составила 98,654%, 98,952% и 99,669% соответственно. Эти результаты усреднены по трём запускам обучения, причём модели обучали и тестировали отдельно в каждом наборе. В дополнительной проверке с официальным разбиением FaceForensics++ c23 на обучающую, валидационную и тестовую выборки модель показала среднюю точность 91% на отдельных кадрах видео.

Авторы подчёркивают: преимущества подхода различались в зависимости от набора данных и метрики, а отдельные тесты показали, что надёжное обнаружение подделок на незнакомых наборах остаётся задачей для будущих исследований. Иными словами, высокая точность в пределах знакомых данных не гарантирует столь же стабильной работы в новых условиях.

Ведущий автор Саман Магсуды отметил: "Поскольку сгенерированные ИИ лица становятся всё убедительнее, оценка подлинности изображений приобретает всё большее значение для доверия к цифровым медиа и борьбы с подделкой личности и дезинформацией. Наши результаты показывают, как узоры яркости могут дополнять обычные признаки, извлекаемые ИИ, и почему уверенности предсказаний и ошибкам обнаружения стоит уделять внимание наравне с точностью. Это создаёт основу для дальнейших исследований детекторов, которые будут работать надёжнее на незнакомых изображениях и в реальных условиях".

Источник: Tech Xplore