Вот почему ИИ может быть чрезвычайно опасен — в сознании он или нет

Алгоритмы искусственного интеллекта скоро достигнут точки быстрого самосовершенствования, которая угрожает нашей способности контролировать их и представляет большой потенциальный риск для человечества.

«Мысль о том, что эта штука на самом деле может стать умнее людей… Я думала, что это далеко… Очевидно, я больше так не думаю», — сказал Джеффри Хинтон, один из ведущих ученых Google в области искусственного интеллекта, также известный как « крестный отец ИИ », после того как он уволился с работы в апреле, чтобы предупредить об опасностях этой технологии.

Он не единственный, кто беспокоится. Опрос экспертов по ИИ в 2023 году показал, что 36% опасаются, что развитие ИИ может привести к «катастрофе ядерного уровня». Почти 28 000 человек подписались под открытым письмом, написанным Институтом будущего жизни, включая Стива Возняка, Илона Маска, генеральных директоров нескольких компаний, занимающихся искусственным интеллектом, и многих других известных технологов с просьбой о шестимесячной паузе или моратории на новые передовые технологии. Развитие ИИ.

Как исследователь сознания, я разделяю эти серьезные опасения по поводу быстрого развития ИИ и являюсь соавтором открытого письма «Будущее жизни».

Почему мы все так обеспокоены? Вкратце: развитие ИИ идет слишком быстро.

Ключевой вопрос заключается в очень быстром улучшении общения среди нового поколения продвинутых «чат-ботов», или тех, что технически называется «большими языковыми моделями» (LLM). С грядущим «взрывом ИИ» у нас, вероятно, будет только один шанс сделать это правильно.

Если мы ошибемся, мы можем не дожить до того, чтобы рассказать эту историю. Это не гипербола.

Это быстрое ускорение обещает вскоре привести к «искусственному общему интеллекту» (AGI), и когда это произойдет, ИИ сможет самосовершенствоваться без вмешательства человека. Он будет делать это так же, как, например, ИИ AlphaZero от Google научился играть в шахматы лучше, чем даже самые лучшие шахматисты-люди или другие ИИ-шахматисты, всего за девять часов с момента его первого включения. Он достиг этого подвига, играя самого себя миллионы раз.

Группа исследователей Microsoft, анализирующая OpenAI GPT-4, который, как мне кажется, является лучшим из новых продвинутых чат-ботов, доступных в настоящее время, заявила, что у него есть «искры продвинутого общего интеллекта» в новой преприятной статье.

При тестировании GPT-4 он показал лучшие результаты, чем 90 процентов людей, сдавших Единый экзамен адвоката, стандартизированный тест, используемый для сертификации юристов для практики во многих штатах. Этот показатель вырос всего на 10 процентов в предыдущей версии GPT-3.5, которая обучалась на меньшем наборе данных. Они обнаружили аналогичные улучшения в десятках других стандартизированных тестов.

Большинство из этих тестов являются тестами рассуждений. Это основная причина, по которой Бубек и его команда пришли к выводу, что GPT-4 «можно разумно рассматривать как раннюю (но все еще неполную) версию системы общего искусственного интеллекта (AGI)».

Именно из-за такого темпа изменений Хинтон сказал New York Times : «Посмотрите, как это было пять лет назад и как сейчас. Возьмите разницу и распространите ее вперед. Это страшно». На слушаниях в Сенате в середине мая по потенциалу ИИ Сэм Альтман, глава OpenAI, назвал регулирование «решающим».

Как только ИИ сможет улучшить себя, что может произойти не более чем через несколько лет, а на самом деле может быть уже здесь, у нас не будет возможности узнать, что будет делать ИИ или как мы сможем его контролировать. Это связано с тем, что сверхразумный ИИ (который по определению может превзойти людей в широком диапазоне действий) будет — и это то, о чем я беспокоюсь больше всего — сможет ходить вокруг программистов и любого другого человека, манипулируя людьми, чтобы они выполняли его волю; он также будет иметь возможность действовать в виртуальном мире через свои электронные соединения и действовать в физическом мире через тела роботов.

Это известно как «проблема контроля» или «проблема выравнивания» (см. хороший обзор в книге философа Ника Бострома «Суперинтеллект »), и ее изучали и обсуждали философы и ученые, такие как Бостром, Сет Баум и Элиезер Юдковски. Десятилетия.

Я думаю об этом так: почему мы ожидаем, что новорожденный ребенок победит гроссмейстера в шахматах? Мы бы не стали. Точно так же, почему мы должны ожидать, что сможем управлять сверхразумными системами ИИ? (Нет, мы не сможем просто нажать на выключатель, потому что сверхразумный ИИ продумает все возможные способы, как мы можем это сделать, и предпримет действия, чтобы предотвратить его отключение.)

Вот еще один взгляд на это: сверхразумный ИИ сможет примерно за одну секунду сделать то, на что команда из 100 программистов-людей потратила бы год или больше. Или выберите любую задачу, например разработку нового усовершенствованного самолета или системы вооружения, и сверхразумный ИИ сделает это примерно за секунду.

Как только системы искусственного интеллекта будут встроены в роботов, они смогут действовать в реальном мире, а не только в виртуальном (электронном) мире, с той же степенью сверхразума, и, конечно же, смогут воспроизводить и улучшать себя на сверхчеловеческом уровне. Шаг.

Любые средства защиты или средства защиты, которые мы пытаемся встроить в этих «богов» ИИ на их пути к божественному, будут предвосхищены и легко нейтрализованы ИИ, как только он достигнет статуса сверхразума. Вот что значит быть сверхразумным.

Мы не сможем их контролировать, потому что все, что мы придумаем, они уже придумают в миллион раз быстрее, чем мы. Любая защита, которую мы построили, будет разрушена, как Гулливер, сбросивший крошечные нити, которые лилипуты использовали, чтобы удержать его.

Некоторые утверждают, что эти LLM - просто автоматические машины с нулевым сознанием, подразумевая, что если они не сознательны, у них меньше шансов вырваться из-под своего программирования. Даже если эти языковые модели, сейчас или в будущем, совсем не сознательны, это не имеет значения. Для протокола: я согласен с тем, что маловероятно, что в данный момент у них есть реальное сознание, хотя я остаюсь открытым для новых фактов по мере их появления.

Тем не менее, ядерная бомба может убить миллионы людей без всякого сознания. Точно так же ИИ может убить миллионы людей с нулевым сознанием множеством способов, включая потенциальное использование ядерных бомб либо напрямую (гораздо менее вероятно), либо через манипулируемых человеческих посредников (более вероятно).

Таким образом, дебаты о сознании и ИИ на самом деле не имеют большого значения в дебатах о безопасности ИИ.

Да, языковые модели, основанные на GPT-4 и многих других моделях, уже широко распространены. Но требуемый мораторий заключается в том, чтобы остановить разработку любых новых моделей, более мощных, чем 4.0, и это может быть обеспечено силой, если потребуется. Для обучения этих более мощных моделей требуются массивные фермы серверов и энергия. Их можно закрыть.

Мой этический компас подсказывает мне, что очень неразумно создавать такие системы, когда мы уже знаем, что не сможем их контролировать даже в относительно ближайшем будущем. Проницательность — это знать, когда нужно отступить от края. Сейчас самое время.

Мы не должны открывать ящик Пандоры больше, чем он уже открыт.