|
|
2. При переходе к новой строке, первый элемент получается добавлением единицы к первому элементу предыдущей строки, второй – как сумма первого и второго элементов предыдущей строки, третий – как сумма второго и третьего элементов и т.д. Последний элемент получается удвоением последнего элемента предыдущей строки.
В табл. 1 приведено сравнение трех оценок информационной емкости тензорных сетей для некоторых значений n и k. Первая оценка – – заведомо завышена, вторая – – дается формулой Эйлера для размерности пространства симметричных тензоров и третья – точное значение
Как легко видеть из таблицы, уточнение при переходе к оценке является весьма существенным. С другой стороны, предельная информационная емкость тензорной сети (число правильно воспроизводимых образов) может существенно превышать число нейронов, например, для 10 нейронов тензорная сеть валентности 8 имеет предельную информационную емкость 511.
Легко показать, что если множество векторов не содержит противоположно направленных, то размерность пространства равна числу векторов в множестве
. Сеть (2) для случая тензорных сетей имеет вид
, (9)
а ортогональная тензорная сеть
, (10)
где – элемент матрицы .
Рассмотрим как изменяется степень коррелированности эталонов при переходе к тензорным сетям (9)
.
Таким образом при использовании сетей (9) сильно снижается ограничение на степень коррелированности эталонов. Для эталонов, приведенных на рис.1, данные о степени коррелированности эталонов для нескольких тензорных степеней приведены в табл. 2.
Таблица 2
Степени коррелированности эталонов, приведенных на рис. 1, для различных тензорных степеней.
Тензорная степень
Степень коррелированности
Условия
1
0.74
0.72
0.86
1.46
1.60
1.58
2
0.55
0.52
0.74
1.07
1.29
1.26
3
0.41
0.37
0.64
0.78
1.05
1.01
4
0.30
0.26
0.55
0.56
0.85
0.81
5
0.22
0.19
0.47
0.41
0.69
0.66
6
0.16
0.14
0.40
0.30
0.56
0.54
7
0.12
0.10
0.35
0.22
0.47
0.45
8
0.09
0.07
0.30
0.16
0.39
0.37
Анализ данных, приведенных в табл. 2, показывает, что при тензорных степенях 1, 2 и 3 степень коррелированности эталонов не удовлетворяет первому из достаточных условий (), а при степенях меньше 8 – вторму ().
Таким образом, чем выше тензорная степень сети (9), тем слабее становится ограничение на степень коррелированности эталонов. Сеть (10) не чувствительна к степени коррелированности эталонов.
9.7. Сети для инвариантной обработки изображений
Для того, чтобы при обработке переводить визуальные образов, отличающиеся только положением в рамке изображения, в один эталон, применяется следующий прием [93]. Преобразуем исходное изображение в некоторый вектор величин, не изменяющихся при сдвиге (вектор инвариантов). Простейший набор инвариантов дают автокорреляторы – скалярные произведения образа на сдвинутый образ, рассматриваемые как функции вектора сдвига.
В качестве примера рассмотрим вычисление сдвигового автокоррелятора для черно-белых изображений. Пусть дан двумерный образ размером . Обозначим точки образа как . Элементами автокоррелятора будут величины , где при выполнении любого из неравенств . Легко проверить, что автокорреляторы любых двух образов, отличающихся только расположением в рамке, совпадают. Отметим, что при всех , и при выполнении любого из неравенств . Таким образом, можно считать, что размер автокоррелятора равен .
Автокорреляторная сеть имеет вид
. (11)
Сеть (11) позволяет обрабатывать различные визуальные образы, отличающиеся только положением в рамке, как один образ.
Подводя итоги, можно сказать, что все сети ассоциативной памяти типа (2) можно получить, комбинируя следующие преобразования:
1. Произвольное преобразование. Например, переход к автокорреляторам, позволяющий объединять в один выходной образ все образы, отличающиеся только положением в рамке.
2. Тензорное преобразование, позволяющее сильно увеличить способность сети запоминать и точно воспроизводить эталоны.
3. Переход к ортогональному проектору, снимающий зависимость надежности работы сети от степени коррелированности образов.
Наиболее сложная сеть будет иметь вид:
, (12)
где – элементы матрицы, обратной матрице Грама системы векторов , – произвольное преобразование.
Возможно применение и других методов предобработки. Некоторые из них рассмотрены в работах [68, 93, 278]
9.8. Численный эксперимент
Работа ортогональных тензорных сетей при наличии помех сравнивалась с возможностями линейных кодов, исправляющих ошибки. Линейным кодом, исправляющим k ошибок, называется линейное подпространство в n-мерном пространстве над GF2, все вектора которого удалены друг от друга не менее чем на 2k+1. Линейный код называется совершенным, если для любого вектора n-мерного пространства существует кодовый вектор, удаленный от данного не более, чем на k. Тензорной сети в качестве эталонов подавались все кодовые векторы избранного для сравнения кода. Численные эксперименты с совершенными кодами показали, что тензорная сеть минимально необходимой валентности правильно декодирует все векторы. Для несовершенных кодов картина оказалась хуже – среди устойчивых образов тензорной сети появились «химеры» – векторы, не принадлежащие множеству эталонов.
Таблица 3
Результаты численного эксперимента.
МР – минимальное расстояние между эталонами, ЧЭ – число эталонов
№
Раз-
мер- ность
Число векто-
ров
МР
ЧЭ
Валент-ность
Число химер
Число
ответов
После обработки сетью расстояние до правильного ответа стало
верн.
неверн.
меньше
то же
больше
1
10
1024
3
64
3¸5
Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76
При использовании материалов активная ссылка на источник обязательна.