Преподаватель, подозревающий, что курсовую написал не студент, а большая языковая модель (LLM - нейросеть, обученная генерировать связный текст), может воспользоваться детектором ИИ-текста. Но полностью доверять такому инструменту рискованно: исследователи из Массачусетского технологического института (MIT) и Корнеллского университета показали, что детекторы сами являются моделями искусственного интеллекта и их можно обмануть.

Детектор ошибается, когда оцениваемый текст сильно отличается от того, на котором его обучали. Это называют сдвигом распределения - ситуация, когда новые данные не похожи на тренировочные. Кроме того, люди со временем меняют манеру письма, а на смену одним LLM приходят другие.

В новой работе учёные применили метод адаптации во время тестирования (test-time adaptation, TTA). Он позволяет уже выпущенной модели дообучаться на новых неразмеченных данных, подстраивая свои внутренние параметры на лету, без полного переобучения с нуля.

В экспериментах коммерческий детектор распознал лишь около 27% замаскированных текстов, сгенерированных ИИ. Подход с TTA достиг точности 93%. В испытаниях, имитирующих естественное изменение языка со временем, детектор с TTA был точен в 85% случаев против 73% у традиционных методов.

Авторы отмечают: метод пригодится преподавателям, редакторам, издателям и специалистам по найму, которым важно отличить написанное человеком от созданного нейросетью. Он может помочь и в кибербезопасности - например, при выявлении фишинговых писем или мошенничества с поисковой оптимизацией.

"Есть много ситуаций с высокими ставками, где людям действительно важен автор текста - от научных публикаций до конкурсов рассказов. Мы показали, что адаптация во время тестирования делает детектор гораздо устойчивее, даже если пользователи ИИ постоянно пытаются его обойти", - говорит соавтор исследования Маниш Рагхаван, профессор MIT Sloan School of Management.

Ведущий автор работы - Кевин Рен, аспирант Cornell Tech, старший автор - Нихил Гарг, доцент Cornell Tech. Результаты будут представлены на конференции NeurIPS 2026 (Conference on Neural Information Processing Systems), которая пройдёт 6-13 декабря в Сиднее, Атланте и Париже. Статья доступна на сервере препринтов arXiv.

Исследователи предупреждают: TTA не всегда будет эффективным решением. Будущие LLM могут генерировать более естественный текст, а проверяемых человеческих текстов для обучения станет меньше. "Совсем не ясно, решаема ли эта проблема в принципе. Остаются большие открытые вопросы о том, как думать о науке, литературе и искусстве в мире, где отличить человеческий контент от ИИ-контента невозможно", - заключает Рагхаван.

Источник: Tech Xplore