В 1991 году фильм "Терминатор 2: Судный день" показал, как человечество создаёт Скайнет - искусственный интеллект (ИИ), управляющий стратегической обороной. Машина обретает самосознание и развязывает ядерную войну. Этот образ до сих пор влияет на споры об ИИ: мол, большие языковые модели (LLM - программы, которые генерируют текст, отвечая на запросы) станут сверхразумом и начнут преследовать собственные цели.

Но такой сценарий требует множества неподтверждённых шагов. Гораздо более реальная угроза уже формируется - и для неё не нужен ни сверхразум, ни злой умысел.

В августе 2026 года Министерство обороны Украины сообщило, что его силы используют более 70 систем ИИ и компьютерного зрения для нанесения ударов. Алгоритмы распознают технику и людей и самостоятельно захватывают цели, чтобы дрон завершил атаку даже при потере связи с оператором. Человеку остаётся лишь одобрить то, что машина уже выбрала.

Именно здесь возникает слабое звено - доверие. По данным расследования CNN, весной 2026 года во время войны с Ираном аналитик спецопераций США применил чат-бот с ИИ для оценки разведданных о китайском судне на Ближнем Востоке. Чат-бот, опираясь на открытые и секретные материалы, ошибочно определил груз как компоненты ядерной программы. Аналитик снова использовал ИИ, чтобы оформить это в стандартный разведотчёт. Военные готовились к высадке на судно, самолёты уже были в воздухе, но чиновник заметил ошибку. Источник сказал, что ложный отчёт "почти развязал войну".

ИИ не был ни разумным, ни враждебным - он просто ошибся, но люди доверились и начали действовать. Это проблема доверия: LLM выдают беглый и уверенный текст, а оформленный как официальный документ, он получает авторитет, которого не заслуживает. В одном эксперименте неспециалисты не смогли отличить убедительный, но неверный ответ чат-бота по физике от настоящей экспертизы.

Политики часто успокаивают: финальное решение принимает человек. Но в случае с судном люди были в цепочке постоянно - они просто стали ещё одним этапом передачи ошибки. Это соответствует десятилетиям исследований об автоматизационной предвзятости - склонности чрезмерно полагаться на автоматику. В 2003 году батареи "Патриот" США сбили два союзных самолёта после того, как операторы приняли ошибочную классификацию.

Человек в цепочке работает, только если он способен, оснащён и готов оспорить машину. Для этого нужна проверка: результаты ИИ должны быть явно помечены, а перед действием - сверены с независимыми источниками. Война не оставляет права на непроверенную ошибку.

Краткосрочные риски доверия не отменяют долгосрочных вопросов о продвинутом ИИ. Но общественная тревога сосредоточена на том, кем машины могут стать, а не на том, что они уже делают. Опасность не в том, что машины поумнеют, а в том, что мы доверим ответственность системам, которые гораздо менее надёжны, чем кажутся.

Источник: Tech Xplore