Веса синапсов при обучении могут изменяться в диапазоне [-1,1], при создании сети инициируются случайными числами.
Нелинейная функция нейрона имеет вид f(A)=A/(c+|A|), где c - параметр крутизны переходного участка сигмоидной функции, который задается при создании сети в диапазоне [0.0001,1] и не изменяется при обучении. Параметр крутизны можно задавать отдельно для каждого слоя сети.
Нейронная сеть может обрабатывать только поля в файле данных, содержащие числовые значения. Из всего набора полей в файле данны можно выбрать отдельные поля для обработки нейросетью.
Обрабатываемые поля могут быть непрерывными (количественными) и дискретнозначными (качественными).
Каждое количественное поле в файле данных будет соответствовать одному входному или выходному сигналу сети. Перед подачей количественных входных полей нейронной сети происходит их нормировка в диапазон значений [-1,1] по каждому полю. Выходные сигналы сети нормируются в диапазон истинных значений.
Каждому качественному полю может соответствовать от 2 до 20 входных или выходных сигналов сети (зависит от числа дискретных состояний, которых может принимать данное поле). Дискретные состояния могут задаваться не только отдельными значениями, но и интервалами значений. Входные сигналы сети при обработке качественных признаков принимают значения -1 либо 1. Для каждого выходного качественного признака строится правило принадлежности его к тому или иному дискретному состоянию, основываясь на значениях выходных сигналов сети для каждого его дискретного состояния. Правило подачи и интерпретации качественных признаков может меняться в зависимости от того, обладают ли состояния качественного признака отношением упорядоченности и предшествования (например, состояния качественного признака, соответствующие тому или иному направлению ветра ("Север", "Запад", "Юг", "Восток") отношением предшествования не обладают, а состояния при кодировании качественным признаком степени тяжести заболевания - обладают отношением упорядоченности и предшествования (более тяжелой стадии всегда предшествовала более легкая).
Нейросеть может решать одновременно несколько задач как прогнозирования (предсказания значений нескольких количественных признаков), так и задачи классификации (предсказания состояний нескольких качественных признаков), так и задачи прогнозирования и классификации одновременно.
Для каждой из задач могут быть установлены свои требования к точности.
Для прогнозируемого качественного признака точность означает максимально допустимое отклонение прогноза сети от истинного значения признака. Желательно задавать как можно менее жесткие требования к точности. Это ускорит как процесс обучения, так и процесс упрощения сети. Также задачу можно будет решить на основе нейронной сети с меньшим числом слоев или нейронов, и, обычно, на основании меньшего числа входных сигналов. Требуемая точность ни в коем случае не должна превосходить погрешностей получения сигнала (погрешностей измерительных приборов, погрешностей огрубления значений при вводе их в компьютер). Так, если значение признака изменяется в диапазоне [0,10] и измерительный прибор имеет собственную точность ±0.1, то нельзя требовать от сети предсказания с точностью ±0.01.
Для качественного признака точность (надежность) означает уверенность в принадлежности качественного признака тому или иному дискретному состоянию. Чем больше уровень требуемый уверенности, тем более надежно должна сеть диагностировать отличия каждого дискретного состояния от других.
Обучение нейронной сети на некотором задачнике производится градиентными методами оптимизации, градиент вычисляется по принципу двойственности. В программе реализованы четыре алгоритма оптимизации:
- Градиентный спуск.
- Модифицированный ParTan.
- Метод сопряженных градиентов.
- Квазиньютоновский BFGS-метод.
При создании нейропроекта в качестве алгоритма по умолчанию принимается ParTan.
Примеру задачника соответствует запись (строка) файла данных. Для включения записи файла данных в задачник в записи должны присутствовать данные для всех полей, используемых нейронной сетью в качестве входных и выходных.
Обучение прекращается при достижении заданной точности решения задачи либо при невозможности дальнейшей оптимизации.
Упрощение нейронной сети выполняется на основе вычисленных показателей значимости. Показатели значимости вычисляются в пяти точках в пространстве адаптивных параметров сети и усредняются в одной из норм.
Процедура упрощения строится как последовательное исключение из сети наименее значимого входного сигнала или элемента сети, дальнейшее дообучение сети и исключение другого сигнала или элемента, если удалось дообучить сеть до заданной пользователем точности. В противном случае процедура упрощения останавливается.
Предоставляются следующие возможности по упрощению сети:
- Сокращение числа входных сигналов.
- Сокращение числа нейронов сети.
- Сокращение числа синапсов сети.
- Сокращение числа неоднородных (пороговых) входов нейронов сети.
- Равномерное упрощение сети, чтобы на каждый нейрон сети приходило не более n сигналов.
- Бинаризация весов синапсов и неоднородных входов сети. Бинаризованные синапсы и неоднородные входы в дальнейшем не обучаются.
Сокращение входных сигналов и нейронов может достигаться и при выполнении других операций по упрощению сети, а не только при целенаправленном сокращении именно входных сигналов и нейронов.
Нейрон сети считается удаленным, если у него удалены все выходы или его сигнал не используется нейронами следующего слоя.
Входной сигнал считается удаленным, если удалены все синапсы, по которым этот сигнал поступал на нейроны первого слоя сети.
Удаленные при упрощении элементы физически остаются в нейронной сети, но при генерации вербального описания сети не вносятся в вербальное описание.
При генерации вербального описания в тексте перечисляются используемые поля файла данных, правила их предобработки для подачи сети, описание нелинейных функций нейронов, функционирование нейронной сети послойно и понейронно, правила нормировки выходных сигналов сети в диапазон истинных значений. Сигналам, генерируемым нейронами сети, присваиваются некоторые имена и в дальнейшем пользователь при анализе сети может именовать эти сигналы в терминах проблемной области.
Получив вербализованное описание нейронной сети, пользователь может попытаться восстановить правила, сформированные сетью для решения задачи – записать на естественном языке алгоритм решения неформализованной задачи предсказания или классификации.
В данном приложении приведены акт о внедрении результатов диссертации и разработанного автором пакета программ в учебный процесс. Кроме того, здесь приведены акты о внедрении разработанного под руководством автора программного обеспечения в эксплуатацию.
В 1996-2000 годах по проекту «Разработка и программная реализация технологии производства явных знаний из данных с помощью обучаемых нейронных сетей» № 05.04.1291 подпрограммы «Перспективные информационные технологии» Федеральной целевой программы на 1996-2000 годы «Исследования и разработки по приоритетным направлениям развития науки и техники гражданского назначения» под руководством автора были разработаны три программы FAMaster [186] (А.А.Россиев), NeuroPro [237] (В.Г.Царегородцев) и GISNNA [180] (А.А.Питенко).
1. Айвазян С.А., Бежаева З.И., Староверов О.В. Классификация многомерных наблюдений.- М.: Статистика, 1974.- 240 с.
2. Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин.- М.: Наука, 1970.- 383 с.
3. Анастази А. Психологическое тестирование.- М. Педагогика, 1982. Книга 1.- 320 с.; Книга 2.- 360 с.
4. Андерсон Т. Введение в многомерный статистический анализ.- М.: Физматгиз, 1963.- 500 с.
5. Андерсон Т. Статистический анализ временных рядов.- М.: Мир, 1976.- 755 с.
6. Ануфриев А.Ф. Психодиагностика как деятельность и научная дисциплина // Вопросы психологии.- 1994.- № 2.- С.123-130.
7. Аркадьев А.Г., Браверман Э.М. Обучение машины классификации объектов.- М.: Наука, 1971.- 172 с.
8. Барцев С.И. Некоторые свойства адаптивных сетей.- Красноярск, 1987.- 17 с. (Препринт / ИФ СО АН СССР; №71Б)
9. Барцев С.И., Гилев С.Е., Охонин В.А. Принцип двойственности в организации адаптивных систем обработки информации // Динамика химических и биологических систем.- Новосибирск: Наука, 1989.- С.6-55.
10. Барцев С.И., Ланкин Ю.П. Моделирование аналоговых адаптивных сетей.- Красноярск, 1993.- 36 с. (Препринт / ИБФ СО РАН; № 203Б)
11. Барцев С.И., Ланкин Ю.П. Сравнительные свойства адаптивных сетей с полярными и неполярными синапсами.- Красноярск, 1993.- 26 с. (Препринт / ИБФ СО РАН; № 196Б)
Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76
