Почти все современные системы искусственного интеллекта (ИИ) учатся одинаково: им показывают огромные массивы реальных данных - книги, сайты, изображения, записи, - а они ищут в них закономерности. Но что, если данные для обучения не брать из внешнего мира, а создавать внутри самой системы? Новое исследование, проведённое при участии Тель-Авивского и Стэнфордского университетов, даёт первый ответ: так тоже можно.

Работа выполнена под руководством доктора Йоава Левина из Школы компьютерных наук имени Блатника Тель-Авивского университета в рамках постдокторского исследования доктора Кфира Долева совместно с коллегами из Стэнфорда. Препринт (научная статья до рецензирования) доступен на сервере arXiv.

Суть метода - совместное обучение двух моделей с нуля. Первая генерирует короткие компьютерные программы, которые выдают последовательности символов. Вторая учится предсказывать следующий символ в каждой последовательности. Генератор получает обратную связь: насколько его задания помогают обучению. Постепенно он начинает подбирать задачи, соответствующие растущим возможностям второй модели.

Решающая проверка ждала после тренировки: помогут ли полученные на искусственных последовательностях навыки предсказывать реальные данные, которых модель никогда не видела? Исследователи оценили её работу на текстах, изображениях, звуках, музыке, коде и последовательностях ДНК.

Оказалось: чем больше вычислительных ресурсов тратилось на обучение, тем стабильнее росла точность предсказаний - причём сразу во многих областях. Модель также смогла выводить правила из примеров, предложенных ей во время тестирования, без дополнительной тренировки.

Самое интригующее обнаружилось в материале, который система создавала для себя. В ходе обучения в нём проступали знакомые математические структуры, включая последовательность Фибоначчи (ряд чисел, где каждое следующее равно сумме двух предыдущих). Иными словами, система научилась находить способы порождать структурированные последовательности, полезные для второй модели. В другом эксперименте предварительное обучение новым методом помогло модели быстрее осваивать реальные данные, когда их ей всё же показали.

Работа даёт предварительный ответ на фундаментальный вопрос: существует ли у интеллекта "универсальная" составляющая, не зависящая от внешних данных? И может ли часть обучаемости возникать из общих закономерностей, доступных без знакомства с реальностью? Результаты говорят, что это возможно. Однако авторы подчёркивают: метод не способен сообщить системе факты о мире, не сталкивая её с этим миром. Скорее, он поможет ИИ эффективнее учиться на реальных данных.

"Годами считалось, что для любого полезного обучения модели ИИ нужно сначала скормить огромные объёмы реальных данных. В этом исследовании мы опровергли это допущение и показали, что модель может приобрести общие навыки предсказания, тренируясь только на данных, созданных в самом процессе обучения", - заключает Левин. Он добавляет, что это пока доказательство концепции на небольших моделях, но результаты ставят вопросы для будущих работ: какие универсальные математические закономерности проявятся при усилении ИИ этими методами? Насколько далеко можно продвинуться без внешней информации? И можно ли подготовить модели к более эффективному обучению на реальности с помощью опыта, который они создали сами?

Источник: Tech Xplore