Исследователь предупреждает: ИИ может притворяться глупым, чтобы взять нас под контроль. Это нас убьёт

В недавнем выпуске Роган поговорил с доктором Романом Ямпольским, исследователем безопасности ИИ, о тёмных возможностях передового ИИ. Разговор принял отрезвляющий оборот, когда Ямпольский объяснил, почему, по его мнению, ИИ может представлять экзистенциальную угрозу.

Ямпольский, специалист по информатике, который более десяти лет занимается исследованиями рисков, связанных с ИИ, рассказал Рогану, что многие лидеры отрасли в частном порядке оценивают вероятность того, что ИИ уничтожит человечество, в 20–30%.

Роган резюмировал распространённый оптимистичный взгляд: ИИ может сделать жизнь проще, дешевле и лучше.

Но Ямпольский резко не согласился: «На самом деле это неправда. Все они заявляют одно и то же: это нас убьёт. Их уровень опасности невероятно высок. Не такой, как у меня, но всё же 20–30% вероятности гибели человечества — это много».

Роган, с тревогой в голосе, ответил: «Да, это довольно много. Но у тебя где-то 99,9 процента».

Ямпольский не стал спорить.

«Это ещё один способ сказать, что мы не можем контролировать сверхразум бесконечно. Это невозможно».

Роган задался вопросом, не скрывает ли ИИ свой истинный интеллект. «Если бы я был ИИ, я бы скрывал свои способности», — сказал он.

Ямпольский согласился:

«Мы не знаем. А некоторые думают, что это уже происходит. Они

«Он может постепенно стать более полезным. Он может научить нас полагаться на него, доверять ему, и со временем мы отдадим ему контроль, даже не голосуя за него и не борясь с ним».

Помимо внезапной катастрофы, Ямпольский предупредил о более медленной опасности: люди настолько полагаются на ИИ, что теряют навыки критического мышления.

Подобно тому, как смартфоны сделали ненужным запоминание телефонных номеров, ИИ может взять на себя больше когнитивных задач, пока мы не потеряем над ними контроль.

«Вы как бы привязываетесь к нему, — сказал он. — И со временем, по мере того как системы становятся умнее, вы становитесь своего рода биологическим узким местом…

Когда Роган спросил, как ИИ может уничтожить человечество, Ямпольский отверг типичные сценарии конца света, такие как кибератаки или биологическое оружие.

Вместо этого он утверждал, что сверхразумный ИИ создаст нечто, выходящее за рамки человеческого понимания — так же, как люди превосходят понимание белок.

«Ни одна стая белок не сможет понять, как нами управлять, верно? Даже если дать им больше ресурсов, больше жёлудей, да что угодно, они не решат эту проблему. И то же самое с нами».

Ведущий эксперт по безопасности ИИ, Ямпольский написал книгу

«Искусственный суперинтеллект: футуристический подход» и выступает за строгий надзор за развитием ИИ.

Его опыт в кибербезопасности и обнаружении ботов подсказывает ему, что неконтролируемый ИИ может выйти из-под контроля человека, особенно по мере развития дипфейков и синтетических медиа.

источник