Исследователи ИИ борются с шумом, обращаясь к биологии

Эллисон Уиттен

Искусственный интеллект видит то, чего не видим мы, — часто в ущерб себе. Хотя машины стали невероятно хорошо распознавать изображения, их по-прежнему легко обмануть. Просто добавьте к входным изображениям небольшое количество шума, незаметного для человеческого глаза, и ИИ внезапно классифицирует школьные автобусы, собак или здания как совершенно разные объекты, например, страусов.

В статье, размещенной в сети в июне 2021 года, Николас Пейпернот из Университета Торонто и его коллеги изучили различные виды моделей машинного обучения, которые обрабатывают язык, и нашли способ обмануть их, вмешиваясь в их вводимый текст в процессе, невидимом для людей. Скрытые инструкции видны компьютеру только тогда, когда он читает код за текстом, чтобы сопоставить буквы с байтами в своей памяти. Команда Papernot показала , что даже крошечные дополнения, такие как отдельные символы, которые кодируют пробелы, могут нанести ущерб пониманию текста моделью. И эта путаница имеет последствия и для пользователей-людей — в одном примере один символ заставил алгоритм вывести предложение, в котором пользователю предлагается отправить деньги на неправильный банковский счет.

Эти акты обмана представляют собой тип атаки, известный как состязательные примеры, преднамеренные изменения входных данных, предназначенные для того, чтобы обмануть алгоритм и заставить его совершить ошибку. Эта уязвимость получила известность в исследованиях ИИ в 2013 году , когда исследователи обманули глубокую нейронную сеть , модель машинного обучения с множеством слоев искусственных «нейронов», выполняющих вычисления.

На данный момент у нас нет надежных решений против любых носителей враждебных примеров — изображений, текста или чего-то еще. Но есть надежда. Для распознавания изображений исследователи могут специально тренировать глубокую нейронную сеть с враждебными изображениями, чтобы ей было удобнее их видеть. К сожалению, этот подход, известный как состязательное обучение, хорошо защищает только от состязательных примеров, которые видела модель. Кроме того, это снижает точность модели на непротиворечивых изображениях и требует значительных вычислительных ресурсов. В последнее время тот факт, что люди так редко обманываются этими же атаками, побудил некоторых ученых искать решения, вдохновленные нашим собственным биологическим видением.

«Эволюция оптимизировала многие организмы на протяжении миллионов лет и нашла несколько довольно интересных и творческих решений», — сказал Бенджамин Эванс , специалист по вычислительной нейробиологии из Бристольского университета. «Нам следует взглянуть на эти решения и посмотреть, сможем ли мы их перепроектировать».

Первая бросающаяся в глаза разница между зрительным восприятием у людей и машин начинается с того факта, что большинство людей воспринимают мир через наши глаза, а глубокие нейронные сети — нет. Мы видим вещи наиболее четко в середине нашего поля зрения из-за расположения нашей центральной ямки, крошечной ямки, расположенной позади зрачка в задней части наших глазных яблок. Там миллионы фоторецепторов, воспринимающих свет, собраны вместе более плотно, чем где-либо еще.

«Мы думаем, что видим все вокруг нас, но это в значительной степени иллюзия», — сказал Томасо Поджио , вычислительный нейробиолог из Массачусетского технологического института и директор Центра изучения мозга, разума и машин.

Машины «видят», анализируя сетку чисел, представляющих цвет и яркость каждого пикселя изображения. Это означает, что у них одинаковая острота зрения во всем поле зрения (точнее, в их числовой сетке). Поджо и его сотрудники задались вопросом, может ли обработка изображений, как это делают наши глаза — с четким фокусом и размытыми границами — повысить устойчивость к состязаниям за счет уменьшения влияния шума на периферии. Они обучили глубокие нейронные сети изображениям, отредактированным так, чтобы они отображали высокое разрешение только в одном месте, имитируя то, где наши глаза могут сфокусироваться, с уменьшением разрешения, расширяющимся наружу. Поскольку наши глаза перемещаются, чтобы зафиксироваться на нескольких частях изображения, они также включают множество версий одного и того же изображения с разными областями высокого разрешения.

Их результаты, опубликованные в 2020 году, показали, что модели, обученные с их «ямчатыми» изображениями, привели к повышению производительности по сравнению с состязательными примерами без снижения точности. Но их модели все еще не были так эффективны против атак, как противоборствующее обучение, лучшее небиологическое решение. Два исследователя с докторской степенью в лаборатории Поджо, Артуро Деза и Анджей Банбурски , продолжают это направление работы, включая более сложные фовеальные вычисления , уделяя больше внимания вычислениям, которые происходят в нашем периферийном зрении.

Конечно, попадание света на клетки наших глаз — это только первый шаг. Как только электрические сигналы от фоторецепторов выходят из задней части наших глаз, они проходят по нервным волокнам, пока не достигают места обработки зрительной информации в задней части нашего мозга. Ранние прорывы в том, как отдельные нейроны иерархически организованы для представления визуальных функций, таких как ориентация линии, вдохновили ученого-компьютерщика Кунихико Фукусиму на разработку первой сверточной нейронной сети (CNN) в 1980 году. Сейчас это тип модели машинного обучения. широко используемый для обработки изображений, который, как было обнаружено, имитирует некоторую активность мозга во всей зрительной коре.

CNN работают с использованием фильтров, которые сканируют изображения для извлечения определенных функций, таких как края объекта. Но обработка, которая происходит в нашей зрительной коре, по-прежнему сильно отличается и является более сложной, и некоторые считают, что ее более точное отражение может помочь машинам видеть больше, как мы, в том числе против враждебных примеров.

«И точно так же, как и биологические системы,

Лаборатории Джеймса ДиКарло в Массачусетском технологическом институте и Джеффри Бауэрса в Бристольском университете занимались именно этим. Обе лаборатории добавили специальный фильтр, который аппроксимирует то, как отдельные нейроны извлекают визуальную информацию в области, известной как первичная зрительная кора, а лаборатория ДиКарло пошла дальше, добавив такие функции, как генератор шума, предназначенный для воспроизведения шумных нейронов мозга, которые активируются случайным образом. раз. Эти дополнения сделали машинное зрение более похожим на человеческое, защитив от чрезмерной зависимости от текстуры (распространенная проблема ИИ) и трудностей с искажениями изображения, такими как размытие.

Когда лаборатория ДиКарло опробовала свою усовершенствованную CNN на примерах со стороны противника, результаты показали, что модификации позволили повысить точность в четыре раза на изображениях со стороны противника, с незначительным падением точности на чистых изображениях по сравнению со стандартными моделями CNN. Он также превзошел метод состязательного обучения, но только для типов состязательных изображений, которые не использовались во время обучения. Они обнаружили, что все их биологически вдохновленные дополнения работали вместе для защиты от атак, причем наиболее важным из них был случайный шум, который их модель добавляла к каждому искусственному нейрону.

В документе конференции , опубликованном в ноябре 2021 года, лаборатория ДиКарло работала с другими командами над дальнейшим изучением влияния нейронного шума. Они добавили случайный шум в новую искусственную нейронную сеть, на этот раз вдохновленную нашей слуховой системой. Они утверждают, что эта модель также успешно отражала состязательные примеры для звуков речи — и снова они обнаружили, что случайный шум играет большую роль. «Мы до сих пор не совсем поняли, почему шум взаимодействует с другими функциями», — сказал Джоэл Дапелло , аспирант лаборатории ДиКарло и соавтор статьи. «Это довольно открытый вопрос».

То, что делает наш мозг, когда наши глаза закрыты и наша зрительная кора не обрабатывает внешний мир, может быть так же важно для нашей биологической защиты от атак. Максим Баженов , вычислительный нейробиолог из Калифорнийского университета в Сан-Диего, провел более двух десятилетий, изучая, что происходит в нашем мозгу, пока мы спим. Недавно его лаборатория начала исследовать, может ли усыпление алгоритмов решить множество проблем с ИИ, включая враждебные примеры.

Их идея проста. Сон играет решающую роль в консолидации памяти, благодаря которой наш мозг превращает недавние переживания в долгосрочные воспоминания. Такие исследователи, как Баженов, считают, что сон также может способствовать формированию и сохранению наших обобщенных знаний о вещах, с которыми мы сталкиваемся каждый день. Если это так, то искусственные нейронные сети, которые делают что-то подобное, также могут лучше хранить обобщенные знания об их предмете и стать менее уязвимыми для небольших добавлений шума из враждебных примеров.

«Сон — это фаза, когда у мозга действительно есть время, чтобы отключить внешний ввод и разобраться со своими внутренними представлениями», — сказал Баженов. «И точно так же, как биологическая система,

В докладе на конференции 2020 года под руководством аспиранта Тимоти Тадроса лаборатория Баженова провела искусственную нейронную сеть через фазу сна после обучения ее распознаванию изображений. Во время сна сеть больше не была вынуждена обновлять связи между своими нейронами в соответствии с распространенным методом обучения, основанным на минимизации ошибок, известном как обратное распространение . Вместо этого сеть могла свободно обновлять свои соединения без присмотра, имитируя то, как наши нейроны обновляют свои соединения в соответствии с влиятельной теорией, называемой пластичностью Хебба. После сна нейронной сети требовалось добавить больше шума к состязательному примеру, прежде чем его можно было обмануть, по сравнению с нейронными сетями, которые не спали. Но было небольшое падение точности для неконфликтных изображений, а для некоторых типов атак наилучшей защитой по-прежнему была диверсионная подготовка.

Несмотря на недавний прогресс в разработке биологических подходов для защиты от враждебных примеров, им предстоит пройти долгий путь, прежде чем они будут приняты в качестве проверенных решений. Это может быть только вопросом времени, когда другой исследователь сможет преодолеть эту защиту — чрезвычайно распространенное явление в области состязательного машинного обучения.

Не все убеждены, что биология — это даже правильное место для поиска.

«Я не думаю, что у нас есть что-то вроде степени понимания или обучения нашей системы, чтобы знать, как создать биологически вдохновленную систему, которая не будет неблагоприятно затронута этой категорией атак», — сказал Зико Колтер , ученый-компьютерщик из Университет Карнеги Меллон. Колтер сыграл большую роль в разработке небиологических методов защиты от враждебных примеров, и он считает, что решить эту проблему будет невероятно сложно.

Колтер предсказывает, что наиболее успешный путь вперед будет включать обучение нейронных сетей на значительно больших объемах данных — стратегия, которая пытается позволить машинам видеть столько же мира, сколько мы, даже если они не видят его таким же образом.

источник: