Команда из Университета Миссури (США) разработала способ оценивать, действительно ли искусственный интеллект (ИИ) находит значимые идеи в словах людей или просто раскладывает их по категориям. Работа опубликована в International Journal of Qualitative Methods.

Учёные часто анализируют интервью, фокус-группы и открытые ответы на опросы, чтобы понять опыт и взгляды людей. Выделение смысловых тем требует времени и умения улавливать контекст. Чтобы проверить, справляется ли ИИ с этой задачей без потери важных деталей, специалисты по журналистике, данным и сестринскому делу создали метод оценки компьютерных тем - AURA (аудит соответствия и полезности). Он сравнивает темы алгоритма с темами, которые выделили люди, и проверяет, насколько они полезны для понимания информации.

В испытании использовали 32 интервью с преподавателями, практикующими медсёстрами и студентами сестринского дела об их опыте использования генеративного ИИ (систем, создающих текст по запросу). Сначала исследователи сами определили ключевые темы, а затем сопоставили их с темами компьютерной модели.

Модель нашла многие из тех же широких тем, что и люди, но часто теряла важные различия в значении и контексте. Совпадение не означало, что алгоритм уловил полный смысл темы или организовал информацию наилучшим образом. Иногда модель объединяла несколько разных тем в одну широкую или, наоборот, дробила одну тему на несколько мелких.

"Когда люди говорят в интервью, они обычно не придерживаются одной темы от начала до конца, - пояснил Джон Роберт Баутиста, доцент Школы сестринского дела Миссурийского университета. - ИИ может помочь упорядочить такие разговоры, чтобы исследователям было легче увидеть, о чём говорят люди".

Хотя ИИ помогал организовывать большие объёмы информации и находить закономерности, команда нашла мало доказательств того, что он стабильно порождает значимые новые идеи сверх тех, что выявили люди-аналитики.

"Наши результаты показывают, что технология может помогать исследователям управляться с большими коллекциями интервью, фокус-групп и ответов на опросы, - сказал Темитопе Эйинла, докторант Института данных и информатики Миссурийского университета. - Но человеческая экспертиза остаётся центральной для интерпретации результатов".

Авторы отмечают, что метод может пригодиться в изучении опыта пациентов, образовательных трудностей и проблем на работе, где важно понимать точку зрения людей. Однако в работе анализировалось относительно небольшое число интервью, поэтому нужны дополнительные проверки, чтобы понять, насколько хорошо AURA работает в разных предметных областях и типах исследований.

Источник: Tech Xplore