Британский математик Алан Тьюринг в 1950 году предложил тест для оценки, может ли машина демонстрировать человекоподобный интеллект. В классическом варианте человек общается одновременно с живым собеседником и с машиной, не зная, кто из них кто, и пытается определить, где машина.

В новом исследовании философ Диана Праудфут из Университета Кентербери (Новая Зеландия) вместе с докторантом по информатике Шэрон Темцин и профессором Кристофом Бартнеком утверждают: многие эксперименты, которые называют "тестами Тьюринга", на самом деле не следуют оригинальному замыслу. Работа опубликована в журнале Philosophy of Science. По словам авторов, им впервые удалось реализовать исходный концептуальный дизайн Тьюринга экспериментально.

Исследователи изучили тексты Тьюринга с 1948 по 1952 год, а также ранние комментарии и исторические источники, чтобы понять, как должна была работать "игра в имитацию".

"Такие особенности, которые часто связывают с тестом Тьюринга, как пятиминутный лимит и идея, что машина проходит тест, если обманывает 30% судей, не задумывались Тьюрингом как правила прохождения", - объясняет Бартнек. По его словам, Тьюринг представлял игру с тремя участниками - допрашивающим, человеком и машиной - со свободными вопросами и без фиксированного ограничения по времени. "Это существенно меняет правила игры, а значит, и результаты теста".

Чтобы проверить свою интерпретацию на практике, исследователи провели эксперимент с GPT-4-Turbo - языковой моделью искусственного интеллекта, разработанной OpenAI (компанией, создавшей ChatGPT). Участники свободно беседовали и с человеком, и с ИИ, пока не были готовы решить, кто из них машина.

Из 37 участников 36 правильно определили GPT-4-Turbo - это 97%. Кроме того, 33 участника (89%) принимали решение дольше пяти минут. Средняя беседа длилась 14 минут, самая долгая - 46 минут. Исследование ставит вопрос, дают ли короткие тесты людям достаточно времени, чтобы содержательно проверить систему ИИ.

"Открытый формат Тьюринга даёт допрашивающему возможность проверить, действительно ли система понимает тему, а не просто выдаёт убедительные ответы, - говорит Бартнек. - Если это учитывать, мы бы утверждали, что ни одна большая языковая модель пока не показала прохождения теста, следующего дизайну оригинальной работы Тьюринга".

Исследователи подчёркивают: их результаты не означают, что все нынешние или будущие модели ИИ провалят тест. В эксперименте использовалась GPT-4-Turbo, и более новые модели могут показать другие результаты.

Источник: Tech Xplore