Компьютерные специалисты и студенты Нью-Йоркского университета представили два онлайн-инструмента на базе искусственного интеллекта. Первый, получивший название Hallucination Nerd, выявляет так называемые "галлюцинации" в научных ссылках - случаи, когда статья ссылается на источник, которого не существует, или приписывает ему неверные утверждения. Второй, Protocol Nerd, помогает учёным подобрать подходящий экспериментальный протокол - подробное описание методики опыта. Обе разработки описаны в журнале Information.

"Мы считаем, что эти два инструмента будут наиболее полезны естествоиспытателям, а со временем и обществоведам, которые хотят ставить новые эксперименты на основе самых релевантных существующих протоколов и быть уверенными, что их собственные работы корректно отражают цитируемую литературу", - приводит слова руководителя обоих проектов, профессора компьютерных наук Денниса Шаши, пресс-служба университета.

Hallucination Nerd проверяет, подкреплены ли утверждения, которые документ делает о своих источниках, содержанием этих источников. Каждую пару "утверждение - ссылка" система относит к одной из категорий: "подтверждено", "частично подтверждено", "не подтверждено", "опровергнуто", "цитируемая статья не существует" или "нет доступа". По словам Шаши, такая проверка помогает и читателям, и авторам понять, насколько добросовестно работа отражает текущее состояние науки.

Protocol Nerd ориентирован на лабораторных исследователей, которым нужен протокол эксперимента. Например, биолог ищет способы повысить засухоустойчивость риса. Если пользователь вводит запрос на английском вроде "найди протоколы для проверки засухоустойчивости риса", система сначала задаёт уточняющие вопросы - например, о стадии роста растения - и объясняет, зачем их задаёт. После ответов она предлагает несколько протоколов и аргументирует, чем каждый может помочь или, наоборот, не подойти.

"Существуют сотни тысяч экспериментальных протоколов, но их сортировка требует много труда и чревата ошибками", - отмечает Шаша. Сейчас Protocol Nerd нацелен на молекулярную биологию и химию, но специалист в предметной области может расширить его на другие дисциплины, включая психологию и экономику, даже не будучи программистом.

Обе модели проверяли на исследовательских базах данных. Для Protocol Nerd использовали статьи из PubMed и Europe PMC: тестировали, сможет ли система и её аналоги найти протокол, применённый в статье, опираясь только на заголовок и аннотацию. Для Hallucination Nerd задействовали arXiv - открытый архив полных текстов научных работ. Там инструмент должен был отличить вымышленные ссылки от подтверждённых утверждений; его результаты сравнили с существующими системами.

"Мы разработали схемы тестирования, которые близко напоминают рандомизированные контролируемые испытания - по той же причине, по которой лабораторные учёные считают такие испытания золотым стандартом: чтобы исключить предвзятость и иметь возможность проверить статистическую значимость", - поясняет Шаша. Статистическая значимость - это оценка того, насколько результат вряд ли объясняется случайностью.

Важно понимать: исследование показывает, что инструменты работают на выбранных базах данных в рамках заданных тестов. Это не гарантирует, что они появятся в свободном доступе или заменят экспертную проверку. Авторы подчёркивают, что точная и быстрая оценка предыдущих работ может улучшить последующие исследования, но не утверждают, что она автоматически повышает качество науки.

Источник: Tech Xplore