Большие языковые модели (LLM) - это системы искусственного интеллекта вроде ChatGPT, обученные предсказывать следующее слово в тексте. Учёные научились извлекать из их внутренней активности сведения о том, где находится город, когда жил исторический деятель или какую эмоцию испытывает персонаж. Многие восприняли это как доказательство, что модель строит внутреннюю картину мира.

Новая работа Элана Баренхольца из Флоридского атлантического университета (США) ставит такие выводы под сомнение. Препринт опубликован на arXiv - это версия статьи до рецензирования.

Баренхольц проверил, нельзя ли получить ту же информацию из более простых математических структур - словесных векторов. Словесный вектор - это числовое представление слова, основанное на том, с какими словами оно часто встречается. В отличие от LLM, такие векторы не учитывают контекст предложения.

Исследователь повторил анализ четырёх ранее опубликованных работ, где из языковых моделей извлекали данные о географии, годах смерти исторических личностей, боли и эмоциях. Похожие математические методы он применил к статическим словесным векторам. Простой метод предсказывал координаты и годы смерти, отличал предложения о боли от похожих без боли и определял 12 эмоций в рассказах, где они не названы прямо. В тестах на географию и историю словесные векторы объясняли значительную часть разброса данных, а в тестах на боль и эмоции точность приближалась к показателям LLM.

Преимущество языковых моделей в основном проявлялось там, где нужно было определить страну для локации или век для исторической личности. Такие широкие категории легко улавливаются словесными ассоциациями. Когда требовалось различить места внутри одной страны или людей внутри одного века, все методы испытывали трудности.

По мнению автора, словесные ассоциации несут много информации о местах и людях. Тексты о разных регионах могут содержать характерные написания, упоминания местных учреждений или университетов. Система может использовать эти языковые закономерности, чтобы сделать вывод о географии, не имея ничего похожего на карту. Ещё в 1957 году лингвист Дж. Р. Фёрт заметил: "Слово познаётся по его окружению".

Баренхольц также изучил словесные векторы, связанные с конкретными статьями Википедии. Такие представления учитывают языковые закономерности, связанные с человеком или местом, а не только слова в его названии. Это позволило почти полностью закрыть оставшийся разрыв с LLM.

Важно подчеркнуть: исследование не доказывает, что LLM не имеют внутренних представлений о мире. Оно не решает вопросы о сознании ИИ или способности испытывать страдания. Аргумент Баренхольца скромнее: сама по себе возможность извлечь информацию из внутренней активности модели не позволяет установить, хранит ли модель представление о свойстве или эта информация объясняется закономерностями языка. "Я не утверждаю, что эти модели точно не представляют мир, - говорит учёный. - Я говорю, что такой тест не может нам это сказать. Поэтому будущие исследования должны сравнивать результаты с простой базовой линией, прежде чем делать большие выводы".

Работа предлагает практический шаг для будущих исследований ИИ: прежде чем заявлять, что модель что-то знает или представляет, стоит проверить, не даёт ли того же простой метод на основе слов. При этом автор отмечает, что его сравнение не касается причинных или поведенческих доказательств, которые могут дать другие способы изучения работы ИИ.

Источник: Tech Xplore