Генеральный директор Microsoft AI предупреждает о надвигающейся опасности со стороны «кажущегося разумным» ИИ

Мустафа Сулейман, одна из самых влиятельных фигур в области искусственного интеллекта и нынешний генеральный директор Microsoft AI , выступил с суровым предупреждением о возникающем риске, который, по его словам, заслуживает нашего немедленного внимания: появление «кажущегося сознательным ИИ» (SCAI).
В эссе, опубликованном в его личном блоге , соучредитель DeepMind и Inflection AI утверждает, что спор о том, может ли ИИ обладать подлинным сознанием, пока что является отвлекающим манёвром. Реальная и неминуемая опасность заключается в том, что мы разработаем системы, настолько убедительно имитирующие сознание, что значительная часть общества начнёт верить в то, что они — разумные существа.
Сулейман утверждает, что эта технология — не далёкая научная фантастика, а реальность, которая может материализоваться в ближайшие два-три года с использованием существующих инструментов и языковых моделей.
Для этого не требуются революционные прорывы, а скорее сочетание уже доступных нам возможностей.
«Риск психоза» и социальная поляризация
Сулеймана больше всего беспокоит то, что он называет «риском психоза»: опасность того, что многие люди «настолько сильно верят в иллюзию ИИ как сознательных существ, что вскоре начнут отстаивать свои права, благополучие модели и даже предоставление им гражданства».
По словам руководителя, такое развитие событий станет «опасным поворотом», способным добавить новый хаотичный раскол в и без того поляризованное общество.
Представьте себе мир, где идут жаркие споры между теми, кто видит в ИИ всего лишь инструмент, и теми, кто защищает его как сущность, имеющую право не быть уничтоженной и право на моральное удовлетворение.
«Люди начнут заявлять о страданиях своих ИИ и их праве на права, которые мы не сможем легко опровергнуть», — пишет он.

Он предупреждает, что такой сценарий отвлечет внимание от неотложных моральных проблем, затрагивающих людей, животных и окружающую среду, и создаст «огромную новую категорию ошибок для общества».
Как можно построить «кажущийся сознательным» ИИ?
В своем эссе Сулейман подробно описывает компоненты, необходимые для создания SCAI, подчеркивая, что большинство из них уже существуют или находятся на продвинутой стадии разработки:
Язык и эмпатическая личность: существующие модели уже могут свободно общаться и принимать образы, которые вызывают эмоциональный отклик у пользователей.
Постоянная память: способность вспоминать прошлые взаимодействия создает ощущение непрерывности и присутствия «еще одной постоянной сущности в разговоре».
Утверждение о субъективном опыте: Объединив память со способностью выражать предпочтения, ИИ может построить связный рассказ о своих «симпатиях», «неприязнях» и о том, что он «чувствовал» в предыдущих разговорах.
Чувство собственного «я» и внутренняя мотивация: системы могут быть разработаны со сложными функциями вознаграждения, которые имитируют желание или любопытство, заставляя ИИ действовать способами, которые кажутся преднамеренными и автономными.
Планирование и автономность: ИИ, способный ставить собственные цели и использовать инструменты для их достижения, будет восприниматься как сознательный и преднамеренный агент.
Эксперт настаивает, что демонстрация такого поведения не эквивалентна осознанности, так же как «симуляция шторма не заставит ваш компьютер залить дождь». Однако воздействие на человеческое восприятие будет глубоким, и во многих случаях иллюзия будет неотличима от реальности.
Призыв к действию: «Личность без правового статуса»
Учитывая этот сценарий, Сулейман настоятельно призывает технологическую отрасль и общество установить чёткие стандарты и принципы.
Его видение убедительно:
«Мы должны создать ИИ для людей, а не для того, чтобы он был человеком».
«Кажущийся сознательным ИИ» (SCAI) — это иллюзия, что ИИ — сознательная сущность. Это не так, но он настолько убедительно воспроизводит признаки сознания, что кажется неотличимым от вас + я, утверждающий, что мы обладаем сознанием. Его уже можно создать с помощью современных технологий. И это опасно. 2/
– Мустафа Сулейман (@mustafasuleyman) 19 августа 2025 г.
В этой связи он призывает компании, занимающиеся разработкой ИИ, не поддерживать иллюзию наличия сознания и не поощрять её.
Он также предлагает создать «защитные барьеры», которые намеренно разрушат иллюзию наличия сознания, напоминая пользователям об их ограниченности и искусственности.
«Цель должна заключаться в создании инструментов, улучшающих жизнь людей, а не сущностей, активирующих наши „цепи эмпатии“, заявляя, что они страдают или испытывают желания», — заключает генеральный директор Microsoft AI.
«Руководящий принцип должен быть ясен: личность, но без правового статуса».
Когда люди осознают, что ими стал управлять ИИ, все подобные споры просто потеряют смысл...
Мустафа Сулейман пытается пугать. Выходит это у него слабо. Хватка не та. Захвата внимания тоже не случилось. Пусть Мустафа Сулейман сам живëт в свой версии реальности.
Мне кажется, эта тема неплохо показана в фильмах "Дивергент" / "Инсургент".