Искусственный интеллект забывает Гарри Поттера: новый подход к обучению моделей

Инновационные подходы к обучению искусственного интеллекта продолжают удивлять мир науки и технологий. Недавно исследователи из Microsoft Research и Microsoft Azure представили уникальный метод обучения больших языковых моделей (LLM), который включает в себя нечто удивительное — способность "забывать" определенные данные. Для проверки этой методики они выбрали ни много ни мало, как вселенную Гарри Поттера.

Традиционные модели машинного обучения стремятся усилить свои знания, но исследователи пошли дальше, предложив уникальный механизм "забывания" или "выучивания" информации. Их методика состояла из нескольких этапов. Сначала они обучили модель на данных из книг о Гарри Поттере, выделив токены, связанные с этим миром, и сравнив их прогнозы с базовой моделью. Затем они заменили уникальные выражения Гарри Поттера на общие аналоги и сгенерировали альтернативные прогнозы, подталкивая модель забыть исходные данные. Этот этап позволил модели переработать свои знания, обеспечивая свежий взгляд на сюжет Гарри Поттера.

Чтобы оценить эффективность этого подхода, исследователи подвергли модель испытаниям. Они использовали 300 автоматически сгенерированных запросов и проверили, насколько хорошо модель могла генерировать или обсуждать контент Гарри Поттера. Результаты были поразительны: после недолгого переобучения по новой методике, модель по существу "забыла" сложные повороты сюжета Гарри Поттера.

Этот метод открывает перед нами новые горизонты в мире искусственного интеллекта. Возможность подкорректировать знания искусственного интеллекта со временем является ключом к созданию более гибких и адаптивных систем. Это также означает, что искусственный интеллект может стать более эффективным инструментом для организаций, способствуя их развитию и безопасному развертыванию технологий будущего.