Поколения нейронных сетей: эволюция вместо революции

1-поколение: простая модель для запуска

Почти одновременно с историей программируемых компьютеров в 1943 году была представлена первая модель нейрона, которая обменивается данными с помощью двоичных сигналов (0 и 1). Здесь воссоздана сильно упрощенная версия биологической нейронной сети. Однако и с этими сетями уже можно проводить расчеты.

Нейроны принимают и взвешивают сигналы, суммируют их и вычисляют выходной сигнал. Нейронные сети первого поколения в основном вычисляют пороговые значения.

Перцептронные сети являются примером первого поколения. Они состоят из двух слоев, имеют очень простую конструкцию и, таким образом, изначально могут решать только линейные задачи. Однако их можно расширить до нескольких слоев, что позволяет решать и более сложные задачи.

2-поколение: готово к более сложным задачам

Полвека уходит на следующий этап развития: в девяностые годы благодаря ускоренному развитию вычислительной техники появляются нейронные сети второго поколения. Вместо двоичных значений теперь используются действительные числа, с помощью которых возможны более точные решения. Кроме того, для выполнения вычислений каждый нейрон имеет функцию (математической) активации, которая позволяет ему отображать даже нелинейное поведение.

Действительные числа в упрощенном виде представляют скорость срабатывания импульсов в биологических нейронах, то есть количество сигналов в секунду. С этой скоростью информация кодируется – таково основное предположение модели.

Особую форму искусственных нейронных сетей второго поколения представляет сверточная нейронная сеть (CNN). Convolutional означает "сверточный" - сетка содержит один или несколько сверточных слоев. Активность каждого нейрона рассчитывается путем применения сверточного фильтра. Это позволяет значительно сократить количество изучаемых параметров. Таким образом, обработка сложных входных данных, таких как изображения и речь, заметно упрощается, фактически становится возможной. Современные нейронные сети часто построены из множества различных слоев и, таким образом, имеют значительную глубину, поэтому их чаще всего называют глубокими нейронными сетями (DNN).

3-поколение: больше эффективности, больше усилий

Становиться все ближе и ближе к биологическому мозгу – вот цель искусственных нейронных сетей. Третье поколение уже очень хорошо справляется с этим с точки зрения процессов и структуры функционирования. Эта веха называется нейронными сетями с пиками, то есть импульсными нейронными сетями. Они учитывают временную составляющую нейронных импульсов. Информация кодируется по времени – например, в промежутках времени между импульсами или в виде частоты импульсов, частоты.

Нейронные сети с пиками (SNN) более эффективны, чем их родственники последних поколений: им требуется меньше нейронов для той же производительности. Но в то же время их труднее тренировать. Кодирование информации с разницей во времени усложняет обучение. И они должны быть отображены с помощью программного обеспечения, поскольку они неэффективны на современном оборудовании.

Новое поколение – это не революция, это скорее эволюция. Потому что механизмы, лежащие в основе сети, не изменились. Молодые учатся многим правилам у старых, старые получают новые модели, переданные мальчиками. Таким образом, все поколения могут извлечь выгоду из происходящих событий и проложить путь грядущим.