«Если кто-то это построит, все умрут» — новое евангелие от гибели ИИ

«Если кто-то это построит, все умрут» — новое евангелие от гибели ИИ

В новой книге Элиезера Юдковски и Нейта Соареса утверждается, что гонка за создание искусственного сверхинтеллекта приведет к вымиранию человечества.

Пророки Кремниевой долины изменили свою позицию. По крайней мере, некоторые из них.

Не так давно технологические визионеры рисовали себе безоблачное будущее, полное досуга и изобилия. Рэй Курцвейл, учёный-компьютерщик, нанятый соучредителем Google Ларри Пейджем для развития технологий машинного обучения, предсказал освобождение из плена смертных человеческих тел по мере того, как сознание переместится в облако. Сегодня самые влиятельные футуристы Кремниевой долины уже не так щедры на оптимизм — в конце концов, кто им поверит?

Даже на этой начальной стадии технологии искусственного интеллекта угрожают карьерным перспективам в сфере «белых воротничков» и вызывают массовую тревогу среди работников, которым предстоит десятикратно увеличить производительность труда, используя огромное количество новых инструментов с неопределённой ценностью. Корпорации, получающие прибыль от этих технологий, сколотили состояния на пиратском копировании произведений авторов и музыкантов, хвастаясь тем, какой ущерб они нанесут экономике. Этот путь не ведёт к утопии.

В своей новой книге « Если кто-то это построит, все умрут» (Little, Brown & Co., сентябрь 2025 г.) исследователи искусственного интеллекта Элиезер Юдковски и Нейт Соарес также видят будущее, в котором технологии отделяют людей от их смертных тел. Но в этом будущем нет перехода к цифровой загробной жизни в облаке — только смерть.

Авторов не интересует ИИ в его нынешнем виде: смертоносное «оно» в названии книги не относится к ИИ в современном, неточном смысле этого слова, приписывающем «интеллект» сложным алгоритмам. Напротив, авторы предостерегают от разрушительной силы искусственного суперинтеллекта (ИСИ) – ИИ, который умнее людей и, следовательно, способен перехитрить все человеческие усилия и системы, направленные на его ограничение или сдерживание. Специалисты по ИИ, утверждают авторы, отчаянно трудятся (и тратят непомерные суммы) над созданием инопланетного интеллекта, который в лучшем случае останется неуловимым и непостижимым, а в худшем – уничтожит человечество, – сущности, подобной ветхозаветному Богу.

Юдковски основал, а Соарес сейчас возглавляет Институт исследований машинного интеллекта (MIRI) — аналитический центр, оказавший влияние на многих исследователей ИИ. Генеральный директор OpenAI Сэм Альтман заявил, что работа института « заинтересовала многих из нас ИИИИ [искусственным интеллектом общего назначения]» — мысль, которая теперь беспокоит Юдковски. В последнее время, утверждают авторы, капиталистические силы оттеснили MIRI на периферию сообщества исследователей ИИ. Авторы и их коллеги из MIRI заявляют, что они не являются противниками технологий или даже противниками ИИ: они признают, что технологии ИИ могут принести человечеству огромную пользу. Однако они позиционируют себя как отступников слепой веры и пустой пропаганды, которые, по их мнению, сейчас характеризуют исследования ИИ, проводимые корпорациями.

Авторы пишут, что отрасль превратилась в культ смерти, не терпящий инакомыслия, при этом многочисленные корпорации и правительства стремятся создать ИСИ, полагая, что тот, кто осуществит этот прорыв, будет доминировать в экономике XXI века, а возможно, и в мире.

Вывод авторов о том, что эта гонка вооружений искусственного интеллекта (ИИ) вскоре, возможно, в течение десятилетия, приведёт к уничтожению человечества, показался бы истеричным, если бы не тот факт, что с этим уже согласны многие учёные и мировые лидеры . Правдоподобность этого аргумента подтверждает окончательный вывод Юдковски и Соареса: как и атомное оружие, дальнейшее развитие технологий ИИ должно строго регулироваться и контролироваться посредством международного сотрудничества, осуществляемого беспристрастными учёными и серьёзными дипломатами, а не корпорациями или тайными военными организациями.

Авторы утверждают, что неважно, кто создаёт ИСИ — добро это или зло, неважно, как и то, для чего изначально задумывался ИСИ. Искусственный сверхинтеллект не обязательно будет разделять цели своих создателей, особенно если эти цели задерживают или иным образом мешают его собственному самосовершенствованию.

Юдковски и Соарес объясняют, что решить эту проблему «выравнивания» можно только тогда, когда системы «малы и слабы» и неспособны выйти в интернет. Решить проблему выравнивания после того, как искусственный интеллект (ИИ) уже стал во много раз умнее и быстрее людей и способен распространяться по компьютерам по всему миру, было бы невозможно. По их словам, это равносильно огромной ставке на то, что ИСИ будет просто послушным и податливым к человеческим желаниям. Тем не менее, многие корпорации — и, предположительно, многие передовые военные — делают именно этот шаг веры. (Многие крупные лаборатории ИИ проводят собственные исследования безопасности и выравнивания и утверждают, что пытаются снизить риски, связанные с вредоносным ИИ.)

Насколько известно, ИСИ пока не существует. Но одно из самых пугающих предположений, выдвинутых в книге, заключается в том, что мы, вероятно, не узнаем, когда перейдём этот Рубикон. У ИСИ будет множество веских причин скрывать свои возможности, пока он не усовершенствует свой интеллект многократно и не начнёт реализовывать планы по накоплению ресурсов — планы, которые будут более успешными, если будут реализованы в тайне.

Искусственный сверхинтеллект будет знать, что для роста его мощи ему потребуется доступ к дополнительным вычислительным ресурсам и электроэнергии, необходимой для их работы. Поскольку законы масштабирования любого ИСИ неизвестны людям, а возможно, и самому ИСИ, его попытки получить всё больше ресурсов, вероятно, приведут к вымиранию человечества, утверждают авторы, поскольку ИСИ может рассматривать людей как конкурентов за воду, свет и пространство. К тому времени, как станет очевидно, что ИСИ вышел из-под контроля человека, остановить его будет уже слишком поздно.

Понимая, что это может показаться невероятным непосвященным, Юдковски и Соарес предлагают множество правдоподобных механизмов и способов, с помощью которых ИСИ может осуществлять свою власть, например, запуск криптовалюты для сбора средств, а затем использование этих денег для подкупа людей, чтобы те выполняли его поручения. Одновременно ИСИ будет изучать всё, что только возможно, о человеческой психологии, чтобы эффективнее использовать свои метки и проводить кампании шантажа и дезинформации .

Скептики настаивают, что системы ИИ, а в идеале и другие ИСИ, смогут помешать любому ИСИ достичь такого уровня злоупотреблений. Однако эта теория упускает из виду возможность того, что первая модель, достигшая сверхразума, сделает всё возможное, чтобы не допустить превышения других возможностей, вплоть до уничтожения людей. Даже если ИСИ решит, что человечество представляет незначительную угрозу, его хищническая погоня за ресурсами в конечном итоге может покрыть весь мир разросшимися центрами обработки данных и электростанциями, что ускорит экологический коллапс, а возможно, и вскипятит океаны.

Этот пессимизм не является единодушным среди исследователей ИИ. Другие учёные и технологи уверенно отвергают подобные опасения , считая их преувеличенными утверждениями, не имеющими эмпирической основы и в значительной степени опирающимися на аналогии и необоснованные экстраполяции. Действительно, книга «Если кто-нибудь это построит» содержит немало поспешно придуманных метафор и снисходительных, кажущихся ребяческими сцен, сравнивающих вышедший из-под контроля ИСИ с инопланетным вторжением. Но, хотя это мало способствует аргументации авторов, они не опровергают основной тезис: возможность многочисленных ужасных последствий, таких как пандемии, созданные ИИ, не является немыслимой и достаточно правдоподобна, чтобы оправдать гораздо более строгие меры безопасности, чем всё, что существует сейчас.

Юдковски и Соареш утверждают, что время на исходе. Единственный способ предотвратить подобные последствия — это согласованные глобальные действия в рамках международного контроля и мониторинга ядерных вооружений. Новые ограничения запретят накопление вычислительной мощности сверх определённого порога. Страны-изгои, корпорации и частные лица, превысившие установленные лимиты, получат предупреждения, а их объекты будут подвергнуты бомбардировке, прежде чем они успеют что-либо предпринять. Авторы утверждают, что пока наши лидеры не предпримут эти меры, граждане, желающие спастись от ИСИ, должны выйти на улицы.

Апокалиптический тон книги намеренный. Она призвана напугать и подтолкнуть общественность к действию. Авторы выступают в роли Кассандр, буквально молящихся о том, чтобы ошибиться в последней главе книги. Но, ориентируя свои аргументы прежде всего на политиков, журналистов и учёных, которые могли бы на них повлиять, Юдковски и Соарес апеллировали не к той аудитории в неподходящее время. Сейчас космополиты и политические либералы, верящие в глобальное благо, находятся вдали от рычагов власти в США. И крайне маловероятно, что в эпоху Дональда Трампа мы увидим что-то подобное глобальному сотрудничеству, необходимому для предотвращения дальнейшего продвижения к ИСИ.

Но есть и другие группы, которые могли бы стать более естественными союзниками и которые обладают значительным влиянием в Белом доме. Те, кто стремится спровоцировать массовое сопротивление безрассудным темпам исследований ИИ, могут попытаться направить свою риторику на мощную и хорошо организованную сеть религиозных консерваторов Америки, для которых эти корпоративные претензии на «божественную» власть, основанную на масштабных языковых моделях, несомненно, вызовут ассоциации с библейскими притчами о проклятии и гибели.

https://www.bloomberg.com/news/articles/2025-10-03/eliezer-yudkowsky-nate-soares-argue-ai-s-endgame-is-human-extinction