История и будущее нейронных сетей!!!

В январе 2020 года BBC перечислила разработки в области применения нейронных сетей, начиная от распознавания лиц и заканчивая языковым переводом. Хотя эти приложения появились в двадцать первом веке, технология, лежащая в основе машинного обучения, потребовала десятилетий исследований с множеством взлетов и падений на этом пути. В этой статье описывается долгий путь от ранних логических вентилей через «зимы ИИ» до глубоких нейронных сетей, которые разрабатываются сегодня.

Первая искусственная нейронная сеть

Первая искусственная нейронная сеть была предложена еще в 1943 году Уорреном Маккаллохом, нейрофизиологом, и Уолтером Питтсом, математиком, в результате их исследования применения математики в форме булевой логики для моделирования работы нейронов в мозге. Развернув логические вентили, они смогли продемонстрировать, как можно активировать выходы, когда активны указанные входы, чтобы смоделировать работу нейронов в мозгу. В качестве модели мозга предоставляемая функциональность была значительно проще по сравнению с миллиардами нейронов в человеческом мозгу. Кроме того, их модель могла обрабатывать только бинарные входы и выходы, обеспечивая очень упрощенную модель нейрона.

Персептрон

Фрэнк Розенблатт, психолог, в 1958 году разработал более совершенную нейронную сеть под названием «Персептрон », которая могла обрабатывать числа в качестве входных данных, а также связывать веса с входными данными. Используя веса, персептрон смоделировал поведение, которое наблюдалось в мозгу: нейрон с большей вероятностью активирует второй нейрон, к которому он близок, когда они оба срабатывают несколько раз, что описывается правилом Хебба, которое Зигрид Лёвель перефразировал как « нейроны, которые возбуждаются вместе, соединяются вместе».

Персептрон мог классифицировать основные изображения без заранее запрограммированной последовательности шагов для выполнения. Это вызвало понятное волнение; впервые машина могла работать без подробных инструкций.

К сожалению, прорыв с персептроном также привел к проблеме, которая была проблемой на протяжении всей истории искусственного интеллекта: нереалистичные заявления и шумиха, включая заявление The New York Times в 1958 году о том, что персептрон «будет способен ходить, говорить, видеть, писать, воспроизводить себя и осознавать его существование».

Первая ИИ зима

В действительности становилось очевидным, что существуют ограничения того, что можно было бы достичь с помощью нейронных сетей, которые могли только упреждать, и в 1969 году Марвин Минкси и Сеймур Пейперт продемонстрировали ограничения с персептронами, включая их неспособность решать такие проблемы, как проблема классификации XOR. , что привело к прекращению финансирования.

Этот период бездействия, называемый первой зимой ИИ, продолжался до 1980-х годов.

Обратное распространение

Прорывом, который окончательно положил конец зиме ИИ в 1986 году, стал алгоритм обратного распространения, который можно было использовать для обучения многоуровневых сетей, преодолевая ограничения однослойной сети Perceptron. Это привело к возрождению интереса к потенциальному применению нейронных сетей.

Вторая зима

Однако из-за относительно низкой вычислительной мощности, когда обучение модели могло занять недели, и отсутствия больших наборов данных в 1990-х годах сообщество ИИ перешло от нейронных сетей к другим методам, таким как механизмы опорных векторов (метод категоризации данных). определяя, на какую сторону предмета гиперплоскости падает), поскольку они регулярно давали лучшие результаты.

Хотя в 1990-х годах нейронные сети не пользовались популярностью, по-прежнему проводились активные исследования, которые привели к ключевым прорывам: в 1997 году Хохрайтер и Шмидхубер разработали долговременную короткую память (LTSM), позволяющую сохранять значения в сетях со многими слоями и в 1998 году LeCun, Bottou, Bengio и Haffner представили сверточную нейронную сеть, многослойную сеть, основанную на зрительной коре, которая часто применяется для визуальных образов.

Глубокие нейронные сети

Конец второй зимы нейронной сети наступил в 2006 году, когда Джеффри Хинтон, когнитивный психолог, разработал жадное послойное предварительное обучение, которое решило проблему, заключающуюся в том, что слои, ближайшие к входному слою, не обновлялись в глубоких нейронных сетях. Имея возможность обучать глубокие нейронные сети (нейронные сети с несколькими скрытыми слоями), стала возможной гораздо более мощная обработка. Эта технология привела к крупным прорывам: от расширенного распознавания изображений (включая человеческие лица) до появления беспилотных автомобилей и возможности перевода с одного языка на другой.

Проблемы с нейронными сетями

Тем не менее, остаются нерешенными проблемы с развертыванием нейронных сетей. Процесс обучения нейронной сети предполагает установку большого количества весов, чтобы поведение модели отражало данные, которые использовались для обучения. Объяснить, как модель, состоящая из большого количества числовых значений весов, сделала вывод, не всегда возможно. Исследования в области объяснимого искусственного интеллекта необходимы, если нейронные сети будут развернуты в таких областях, как юриспруденция или здравоохранение, где будут оспаривать решения, изменяющие жизнь.

Кроме того, необходимо повысить надежность нейронных сетей, если они будут развернуты в областях, которые могут представлять опасность для жизни, например, в беспилотных автомобилях. Например, статья в Nature показала, что беспилотные автомобили не могут распознавать знаки остановки, когда на них наклеены наклейки. Чтобы преодолеть эту хрупкость, может потребоваться определенный уровень понимания обрабатываемых данных, и в настоящее время исследуется ряд областей, включая разработку гибридного ИИ, целью которого является объединение нейронных сетей с символическим ИИ (описывающим окружающую среду с точки зрения жестко запрограммированные правила).

Будущее за нейронными сетями

Поскольку размер нейронных сетей увеличивается значительными темпами (удваивается каждые 2,4 года), возможности технологии для решения все более сложных задач становятся более реальными. При условии соблюдения этики ИИ сочетание более крупных нейронных сетей, увеличивающейся вычислительной мощности, больших наборов данных и результатов десятилетий исследований открывает захватывающее будущее для применения искусственных нейронных сетей на благо общества.

Спасибо если дочитали!