Цифровые двойники - это виртуальные 3D-копии реальных пространств, таких как заводы, склады и промышленные объекты. Компании используют их для наблюдения за оборудованием, планирования ремонтов и моделирования изменений без остановки производства. Но чтобы такая копия была по-настоящему полезной, система должна понимать, что именно она видит: где труба, где контейнер, а где станок. Задача распознавания и разметки объектов называется сегментацией.

Этой проблеме посвящена диссертация Офии Рахман Алиф, выполненная совместно с Хельсинкским университетом и финской компанией Twinverse, которая создаёт цифровые двойники сложных промышленных объектов. Технический директор Twinverse Артту Юлин отметил, что сотрудничество с университетом дало ценные результаты, и призвал компании активнее участвовать в подобных проектах: для бизнеса это в основном затраты времени, а не денег.

В работе систематически проанализировано, где подход работает, а где даёт сбои в реальных заводских условиях. Исследование затронуло несколько факторов: как качество 3D-реконструкции влияет на точность сегментации, как настройка камер меняет результат и как согласованность и точность масок объектов (то есть выделенных областей на изображении) сказываются на итоговом качестве.

Отдельно разобраны условия, которые затрудняют работу искусственного интеллекта на производстве: тёмные металлические поверхности, сложная геометрия, частично скрытые объекты и похожие друг на друга предметы. Каждый из этих факторов влияет на разные этапы обработки.

Чтобы сравнение было наглядным, методы улучшения работы ИИ проверяли как на реальных промышленных данных от Twinverse, так и на стандартных тестовых сценах, обычно используемых с методом 3D Gaussian splatting (3DGS). Этот метод восстанавливает реальное пространство в виде миллионов мельчайших трёхмерных элементов, подогнанных под фотографии, сделанные с разных ракурсов. Такой подход позволил напрямую сопоставить идеализированные условия с более сложной реальностью действующего предприятия.

В основе работы - объединение трёх существующих инструментов. Первый, 3DGS, создаёт фотореалистичную 3D-реконструкцию по обычным снимкам и данным о положении камеры. Второй, FlashSplat, распределяет эти трёхмерные элементы по конкретным объектам с помощью голосования по множеству ракурсов. Третий, SAM2 (Segment Anything Model 2 от Meta), распознаёт и обводит объекты на изображениях. В диссертации предложена схема, связывающая эти инструменты: SAM2 создаёт маски объектов, его функция отслеживания видео сохраняет согласованность масок между ракурсами, а результаты передаются в систему голосования FlashSplat. Кроме того, добавлен адаптивный компонент, который автоматически подбирает лучшие настройки SAM2 для каждой сцены с учётом освещения, отражающей способности поверхностей и сложности обстановки.

Один из самых неожиданных результатов: увеличение объёма данных для ИИ ухудшало, а не улучшало работу. Небольшой, тщательно проверенный набор входных данных давал заметно более чистый результат, чем гораздо больший, но зашумлённый. Система не может отменить плохое свидетельство после того, как оно учтено, поэтому несколько ошибок способны перевесить много дополнительных данных. По словам Алиф, это напоминание о том, что в ИИ качество часто важнее количества.

Переход от контролируемых исследовательских наборов данных к реальной промышленной среде оказался гораздо более серьёзным шагом. Инструменты, хорошо работавшие на чистых сценах, неожиданно ломались на действующем производстве. Главный вывод: неудача - не тупик, если её можно объяснить, а понимание причин сбоя часто так же ценно, как и успешная работа.

Источник: Tech Xplore