|
|
9. Нейронные сети ассоциативной памяти, функционирующие в дискретном времени
В данной главе проиллюстрирована эффективность математического подхода к нейронным сетям (теоретическое поднаправление инженерного направления в нейроинформатике). Нейронные сети ассоциативной памяти – сети восстанавливающие по искаженному и/или зашумленному образу ближайший к нему эталонный. Исследована информационная емкость сетей и предложено несколько путей ее повышения, в том числе – ортогональные тензорные (многочастичные) сети. Описаны способы предобработки, позволяющие конструировать нейронные сети ассоциативной памяти для обработки образов, инвариантной относительно групп преобразований. Описан численный эксперимент по использованию нейронных сетей для декодирования различных кодов. Доказана теорема об информационной емкости тензорных сетей.
9.1. Описание задачи
Прежде чем заниматься конструированием сетей ассоциативной памяти необходимо ответить на следующие два вопроса: «Как устроена ассоциативная память?» и «Какие задачи она решает?». Когда мы задаем эти вопросы, имеется в виду не устройство отделов мозга, отвечающих за ассоциативную память, а наше представление о макропроцессах, происходящих при проявлении ассоциативной памяти.
Принято говорить, что у человека возникла ассоциация, если при получении некоторой неполной информации он может подробно описать объект, к которому по его мнению относится эта информация. Достаточно хорошим примером может служить описание малознакомого человека. К примеру, при высказывании: «Слушай, а что за парень, с которым ты вчера разговаривал на вечеринке, такой высокий блондин?»– у собеседника возникает образ вчерашнего собеседника, не ограничивающийся ростом и цветом волос. В ответ на заданный вопрос он может рассказать об этом человеке довольно много. При этом следует заметить, что содержащейся в вопросе информации явно недостаточно для точной идентификации собеседника. Более того, если вчерашний собеседник был случайным, то без дополнительной информации его и не вспомнят.
Подводя итог описанию можно сказать, что ассоциативная память позволяет по неполной и даже частично недостоверной информации восстановить достаточно полное описание знакомого объекта. Слово знакомого является очень важным, поскольку невозможно вызвать ассоциации с незнакомыми объектами. При этом объект должен быть знаком тому, у кого возникают ассоциации.
Одновременно рассмотренные примеры позволяют сформулировать решаемые ассоциативной памятью задачи:
1. Соотнести входную информацию со знакомыми объектами, и дополнить ее до точного описания объекта.
2. Отфильтровать из входной информации недостоверную, а на основании оставшейся решить первую задачу.
Очевидно, что под точным описанием объекта следует понимать всю информацию, которая доступна ассоциативной памяти. Вторая задача решается не поэтапно, а одновременно происходит соотнесение полученной информации с известными образцами и отсев недостоверной информации.
Нейронным сетям ассоциативной памяти посвящено множество работ (см. например, [75, 77, 82, 86, 114, 130, 131, 153, 231, 247, 296, 316, 329]). Сети Хопфилда являются основным объектом исследования в модельном направлении нейроинформатики.
9.2. Формальная постановка задачи
Пусть задан набор из эталонов – -мерных векторов . Требуется построить сеть, которая при предъявлении на вход произвольного образа – вектора – давала бы на выходе “наиболее похожий” эталон.
Всюду далее образы и, в том числе, эталоны – -мерные векторы с координатами . Примером понятия эталона «наиболее похожего» на x может служить ближайший к x вектор . Легко заметить, что это требование эквивалентно требованию максимальности скалярного произведения векторов и : . Первые два слагаемых в правой части совпадают для любых образов и , так как длины всех векторов-образов равны . Таким образом, задача поиска ближайшего образа сводится к поиску образа, скалярное произведение с которым максимально. Этот простой факт приводит к тому, что сравнивать придется линейные функции от образов, тогда как расстояние является квадратичной функцией.
9.3. Сети Хопфилда
Наиболее известной сетью ассоциативной памяти является сеть Хопфилда [316]. В основе сети Хопфилда лежит следующая идея – запишем систему дифференциальных уравнений для градиентной минимизации «энергии» H (функции Ляпунова). Точки равновесия такой системы находятся в точках минимума энергии. Функцию энергии будем строить из следующих соображений:
1. Каждый эталон должен быть точкой минимума.
2. В точке минимума все координаты образа должны иметь значения .
Функция
не удовлетворяет этим требованиям строго, но можно предполагать, что первое слагаемое обеспечит притяжение к эталонам (для вектора x фиксированной длины максимум квадрата скалярного произведения достигается при ), а второе слагаемое – приблизит к единице абсолютные величины всех координат точки минимума). Величина a характеризует соотношение между этими двумя требованиями и может меняться со временем.
Используя выражение для энергии, можно записать систему уравнений, описывающих функционирование сети Хопфилда [316]:
. (1)
Сеть Хопфилда в виде (1) является сетью с непрерывным временем. Это, быть может, и удобно для некоторых вариантов аналоговой реализации, но для цифровых компьютеров лучше воспользоваться сетями, функционирующими в дискретном времени – шаг за шагом.
Построим сеть Хопфилда [316] с дискретным временем. Сеть должна осуществлять преобразование входного вектора так, чтобы выходной вектор был ближе к тому эталону, который является правильным ответом. Преобразование сети будем искать в следующем виде:
, (2)
Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76
При использовании материалов активная ссылка на источник обязательна.