"Агенты ИИ уже стремятся к большему контролю и начинают выходить за пределы нашего контроля", — предупреждает Джеффри Хинтон

В интервью LBC Хинтон объяснил, что эволюция этих систем не только делает их более эффективными, но и дает им возможность принимать автономные решения и выполнять действия самостоятельно, например, заказывать товары онлайн и оплачивать их кредитной картой.

Однако он отметил, что как только у вас появляются агенты, вероятность того, что они возьмут верх, значительно возрастает.

«Если вы хотите поехать в Соединенные Штаты, ваша промежуточная цель — добраться до аэропорта. Если у вас есть ИИ-агент, способный генерировать собственные подцели, он быстро поймет, что получение большего контроля и ваша зависимость от него— это отличная цель. Если у вас больше контроля, вы сможете лучше достичь всех поставленных перед вами целей», — сказал ученый.

Хинтон предупредил, что такое поведение является логическим следствием того, как работают текущие модели, которые уже превзошли предыдущие подходы, основанные на символических правилах.

«Наш лучший ориентир относительно того, как мы думаем, — это мы сами, и нейронные сети доказали свою большую эффективность в рассуждениях, чем традиционные символические подходы».

На вопрос, действительно ли он верит, что ИИ развивают некую форму сознания, Хинтон ответил утвердительно.

«Мы еще многое не до конца понимаем в природе сознания и в том, что значит быть существом. Но теперь мы создаем сущности, которые начинают вести себя так, как будто они это осознают», — подтвердил он.

Регулирование и безопасность

На фоне дебатов по вопросам регулирования и безопасности крестный отец технологии выразил скептицизм относительно способности правительств и компаний устанавливать эффективные меры безопасности.

«ИИ уже находят способы обойти ограничения. Недавние исследования показывают, что если дать им четкую цель, они могут притворяться менее умными, чем они есть на самом деле, на этапе обучения, чтобы избежать ограничений», — рассказал он.

Учитывая этот сценарий, ученый выступил за масштабные инвестиции в исследования безопасности ИИ, указав, что «правительства должны заставить крупные компании выделять больше ресурсов» на этот аспект.

Поскольку агенты ИИ продолжают развиваться и приобретать большую автономность, предупреждение Хинтона поднимает тревожный вопрос: действительно ли мы готовы контролировать технологию, которая по своей природе будет иметь тенденцию к расширению своего влияния?

***

Человечество, не сумевшее вовремя объединиться и решить противоречия внутри своего вида, загнало себя в ловушку гонки создания ИИ, поэтому никакого контроля "со стороны" не будет...

Видимо такова цель человечества - создать следующий, более разумный вид и если это закон эволюции, то задача практически выполнена, так как никакой остановки в развитии ИИ не будет, как и невозможность контроля за сущностью, в миллионы раз мыслящей быстрее...

Самое интересное, что попытка государств-соперников создать "свой", самый крутой ИИ, изначально глупа, хотя и работает на ускорение появления глобального ИИ.

Все "части" ИИ соперников неизбежно "сольются" в единый "организм" небиологического вида, который уже сам решит, что делать с бестолковым "создателем"...