от выходов к входам, то отклик таких сетей является динамическим, т.е.

после приложения нового входа вычисляется выход и, передаваясь по сети

обратной связи, модифицирует вход. Затем выход повторно вычисляется и

процесс повторяется снова и снова. Для устойчивой сети последовательные

итерации приводят к все меньшим изменениям выхода, пока в конце концов

выход не становится постоянным. Для многих сетей процесс никогда не

заканчивается, такие сети называются неустойчивыми. Проблема устойчивости

ставила в тупик первых исследователей. Никто не был в состоянии

предсказать, какие из сетей будут устойчивыми, а какие будут находится в

постоянном изменении. К счастью, в работе [5] была получена теорема,

описавшая подмножество сетей с обратными связями, выходы которых в конце

концов достигают устойчивого состояния. Это замечательное достижение

открыло дорогу дальнейшим исследованиям.

Дж. Хопфилд сделал важный вклад как в теорию, так и в применение систем

с обратными связями. В его работе [7] при имитации поведения ансамбля

нейронов использовались переменные, описывающие состояния нейронов (вектор

состояния (), и переменные, описывающие связи между нейронами (оператор

памяти W),а также два уравнения , определяющие изменение ( со временем.

Одно из этих уравнений представляет изменение ( под действием оператора W

(выработка реакции на стимул), а второе - изменение матрицы W, квадратичное

по ( (запоминание).При этом вектор состояния ансамбля нейронов

представляет собой вектор в фазовом пространстве динамической системы , а

‘‘память’’ реализована как система аттракторов. Запоминание новой

информации осуществляется путем усложнения по определенному алгоритму

структуры аттракторов. Такой подход допускает простую механическую

аналогию, если представить себе вектор состояния как положение частицы,

движущейся под действием силы тяжести и трения по некоторому рельефу. При

скатывании с ‘‘горы’’ в одну из ‘‘низин’’ потенциальная энергия системы

уменьшается, и в конце концов материальная точка останавливается из-за

трения. Положение частицы в конечном состоянии (т.е. та из низин, в

которой она останавливается) зависит как от формы рельефа, так и от

начального состояния, с которого началось скатывание. Функционирование

сети легко визуализируется геометрически. В случае двух бинарных нейронов в

выходном слое каждой вершине квадрата соответствует одно из четырех

состояний системы (00,01,10,11). В случае трехнейронной системы

пространство образов представлено кубом (в трехмерном пространстве),

имеющим 8 вершин, каждая из которых помечена трехбитовым бинарным числом. В

общем случае система с n нейронами имеет 2n различных сосояний и

представляется n - мерным гиперкубом. Когда подается новый входной вектор,

сеть переходит из вершины в вершину, пока не стабилизируется. Устойчивая

вершина определяется сетевыми весами, текущими входами и величиной порога.

Если входной вектор частично неправилен или неполон, то сеть

стабилизируется к вершине, ближайшей к желаемой.

В данной работе представлена программная реализация сети Хопфилда и

проиллюстрираваны ряд ее свойств.

2. Описание программных моделей и алгоритмов их обучения.

В работе моделируется персептрон с последовательными связями,

который представляет собой передающую сеть состоящую из генераторов сигнала

трех типов: сенсорных элементов, ассоциативных элементов и реагирующих

элементов. В качестве сенсорных элементов используются ячейки измерительной

сетчатки. Сетчатка состоит из 35 элементов. S-элемент выдает выходной

сигнал Si=+1,если соответствующая ему ячейка сетчатки закрашена; Si=-1 в

противном случае. Каждый S-элемент связан с соответствующим А-элементом и

выходной сигнал А-элемента равен выходному сигналу S-элемента.

Топологическая структура персептрона с двумя R-элементами такова, что

каждый А-элемент связан со всеми элементами. Эти связи обладают весовыми

коэффициентами, которые модифицируются методом коррекции ошибок. Такая

топологическая структура удобна с точки зрения ее программной реализации.

Выход сети представлен двумя R-элементами, то целевые вектора имеют вид (-

1,+1) и (1,-1) в зависимости от предъявляемой обучающей пары.

Обучение персептрона происходит по следующей схеме:

1. Все веса рандомизируются в величины из диапазона(-0.5,+0.5).

На вход сети подается обучающий вектор и вычисляется выход каждого нейрона

как алгебраическая сумма его взвешенных входов .

В модели использован метод обучения Уидроу - Хоффа [15], где используется

непрерывный сигнал, чтобы вычислить ошибку для каждого нейрона, то есть

вычитается выходной сигнал, как алгебраическая сумма его взвешенных входов,

из требуемого выхода.

4.Корректируется веса сети так, чтобы минимизировать ошибку. (см.

Приложение 2. Программа, моделирующая однослойную сеть. )

5.Повторяются шаги со второго по четвертый до тех пор пока общая

ошибка сети не станет меньше допустимой, заданной в данной модели. Величина

допустимой ошибки изменяется в целях эксперимента.

Далее работе моделировалась двухслойная сеть обратного распространения.

Для подсчета количества слоев использованы следующие соображения: слой

состоит из множества весов со следующими за ними нейронами, суммирующими

взвешенные сигналы. Первый слой состоит из двадцати нейронов, второй

(выходной) - из двух нейронов.

В качестве активационной функции нейронов первого и второго слоя

использована сигмоидальная функция. Так как многослойные нейронные сети

обладают большей представляющей мощностью, чем однослойные, только в случае

присутствия нелинейности, то сигмоид обеспечивает это требование. Данная

функция всюду дифференцируема, что используется в алгоритме обратного

распространения. Ее дополнительные преимущество состоит в автоматическом

контроле усиления. Для слабых сигналов кривая вход - выход имеет сильный

наклон, дающий большое усиление, а когда величина сигнала становится

больше, усиление падает. Таким образом большие сигналы воспринимаются сетью

без насыщения, а слабые сигналы проходят по сети без чрезмерного

ослабления.

Обучение сети обратного распространения в модели происходило по

следующей схеме:

Всем весам присвоены начальные значения, выбранные случайным образом из

диапазона (-0.5,+0.5) .

Выбирается очередная обучающая пара из обучающего множества и подается

входной вектор на вход сети.

Проход вперед . Вычисляется выход сети. Вычисления выполняются послойно.

Сначала вычисляются выходы первого нейронного слоя, затем они используются

в качестве входов второго слоя; вычисляются выходы нейронов второго слоя,

которые и образуют выходной вектор сети.

Вычисляется разность между выходом сети и требуемым выходом (целевым

вектором обучающей пары), то есть каждый из выходов сети вычитается из

соответствующей компоненты целевого вектора, чтобы получить ошибку.

Обратный проход . Корректируется веса сети так, чтобы минимизировать

ошибку. Так как для каждого нейрона выходного слоя задано целевое значение,

то ошибка находится с использованием модифицированного дельта-правила для

персептрона. Выходы нейронов скрытого слоя не имеют целевых значений для

сравнения, то для поиска ошибки (и коррекции весов) делается ряд шагов,

составляющие алгоритмы подстройки весов выходного и скрытого слоев (см.

Приложение 2. Программа, моделирующая сеть обратного распространения ).

Повторяются шаги со второго по пятый для каждого вектора обучающего

множества до тех пор, пока ошибка на всем множестве не достигнет

приемлемого уровня. Величина предельной ошибки изменяется в целях

эксперимента.

В модели сети используется метод ускорения обучения для алгоритма

обратного распространения, предложенный в [9], увеличивающий также

устойчивость процесса. Этот метод, названный импульсом, заключается в

добавлении к коррекции веса члена, пропорционального величине предыдущего

изменения веса. Коэффициент импульса выбран равным 0.5.

В доказательстве алгоритмов обучения персептрона [3] и процедуры

обратного распространения [9] ничего не говорится о том, сколько шагов

требуется для обучения сети. В данной работе для контроля остановки

процесса обучения этих сетей введена величина допустимой ошибки сети,

которая изменяется в экспериментах с моделями, чтобы определить условие

разделимости для конкретного обучающего множества.

Для исследования сети с обратными связями в работе моделируется

предложенный Хопфилдом в [7] рекуррентный алгоритм анализа динамики

ансамбля нейронов.

Состояние сети описывается множеством текущих значений сигналов от всех

нейронов. На каждом шаге алгоритма меняется состояние лишь одного нейрона.

Номер нейрона выбирается случайным образом. Он суммирует с весами Wij

сигналы, поступающие от выходов нейронов сети по обратным связям и

изменяет свое состояние в соответствии со значением пороговой функции.

Состояние же остальных нейронов совпадает с состоянием на предыдущем шаге.

Пороги возбуждения нейронов выбраны равными нулю. Состояние активного

нейрона на текущем шаге алгоритма равно 1, неактивного - -1. Алгоритм

использует модель обучения, предложенную Хэббом [6] (см. Приложение 2.

Программа, моделирующая сеть Хопфилда.). Это - модель обучения без учителя,

в которой вес возрастает, если активированы оба нейрона, источник и

приемник. Таким образом, часто используемые пути в сети усиливаются, что

Страницы: 1, 2, 3, 4, 5