Министерство образования Российской Федерации
Омский Государственный Университет
Математический факультет
Горбань Павел Александрович
ТЕХНОЛОГИЯ ИЗВЛЕЧЕНИЯ ЗНАНИЙ ИЗ НЕЙРОННЫХ СЕТЕЙ:
АПРОБАЦИЯ, ПРОЕКТИРОВАНИЕ ПО,
ИСПОЛЬЗОВАНИЕ В ПСИХОЛИНГВИСТИКЕ
Дипломная работа
Научный руководитель:
Член-корреспондент РАН
В.В. Шайдуров
Омск – 2002
Оглавление
Введение. 4
Цель работы... 4
Основные задачи исследования.. 4
Основные результаты работы, полученные лично автором... 4
Апробация работы... 5
Публикации.. 5
Глава 1. Проблема извлечения знаний и обзор методов извлечения знаний.. 6
1.1 Знание и приобретение знаний.. 6
1.1.1 "Знание". 6
1.1.2. Приобретение знаний. 8
1.2. Методы извлечения и приобретения знаний.. 8
1.2.1. Приобретение знаний, обучение и обобщение по примерам в теории классических экспертных систем 9
1.2.1.1. Трудности при разработке экспертных систем.. 11
1.2.2. Методы извлечения знаний из таблиц данных. 12
1.2.2.1. Технология извлечения знаний из таблиц данных. 12
1.2.2.2. Таблица эмпирических данных. 13
1.2.2.3. Статистические методы извлечения знаний из таблицы данных. 15
1.2.3. Методы идентификации систем.. 15
1.2.4. Другие методы обработки данных. 16
1.3. Требования к технологии извлечения знаний.. 17
Глава 2. Нейронные сети.. 19
2.1. Коннекционизм... 19
2.2. Элементы нейронных сетей.. 20
2.3. Основные архитектуры нейронных сетей.. 21
2.4. Обучение нейронных сетей как минимизация функции ошибки.. 22
Глава 3. Упрощение нейронной сети. 27
3.1. Что такое упрощение нейронной сети и зачем оно нужно.. 27
3.2. Задача извлечения знаний из нейронной сети.. 28
3.3. Методы упрощения нейронных сетей.. 29
3.3.1. Контрастирование синапсов нейросети. 30
3.3.2. Контрастирование нейронов нейросети. 32
3.3.3. Контрастирование входных сигналов нейросети. 35
3.3.4. Бинаризация синапсов. 36
3.3.5. Упрощение нелинейных преобразователей нейронов. 37
3.3.6. Дополнительные модификации алгоритмов контрастирования. 37
3.3.7. Методы модификации структуры обученной сети. 38
3.4. Требования к процессу упрощения сети для извлечения знаний.. 38
3.5. Упрощающие операции над нейронной сетью... 39
3.6. Процедура комплексного упрощения нейронной сети.. 40
Глава 4. Методы извлечения знаний из искусственных нейронных сетей.. 41
4.1. Существующие методы извлечения знаний из обученной нейросети.. 41
4.1.1. Методы на основе квантования сигналов сети. 42
4.1.2. Методы извлечения знаний параллельно с обучением нейросети. 44
4.1.3. Методы извлечения знаний из обученной нейросети. 46
4.2. Методы извлечения знаний: требования к методам... 50
4.3. Методология извлечения явных знаний, использующая технологию комплексного упрощения нейросети.. 52
4.4. Приемы повышения вербализуемости нейронной сети.. 56
4.4.1. Добавление синдрома в набор входных симптомов. 56
4.4.2. Построение иерархии продукционных правил. 57
4.4.3. Ручное конструирование сети из фрагментов нескольких логически прозрачных сетей. 59
Глава 5. Нейросетевой анализ структуры индивидуального пространства смыслов 60
5.1. Семантический дифференциал.. 60
5.2. MAN-многообразия.. 63
Литература.. 65
Публикации автора по теме диплома.. 69
Приложение 1. Плакаты для защиты диплома. 71
Приложение 2. Статья: Горбань П.А. Нейросетевой анализ структуры индивидуального пространства смыслов. "Нейрокомпьютеры": разработка, применение. 2002, No 4. С. 14-19. 84
Целью дипломной работы является апробация гибкой технологии извлечения знаний из нейронных сетей, настраиваемой с учетом предпочтений пользователя. Тестирование, пробная эксплуатация и разработка новой версии программных средств, реализующих данную технологию. Проведение исследований индивидуальных пространств смыслов на основе данной технологии.
1. Анализ разработанных методов извлечения явных знаний из нейронных сетей с указанием их ограничений и областей применимости.
2. Апробация гибкой настраиваемой на основе предпочтений пользователя технологии извлечения знаний, опирающейся на предварительное проведение комплексного упрощения нейронной сети, выполняющегося с учетом сформированных пользователем требований к результирующему виду извлекаемых знаний.
3. Тестирование, пробная эксплуатация и разработка новой версии программных средств, реализующих данную технологию.
4. Усовершенствование метода семантического дифференциала Осгуда при помощи технологии разреживания обучаемых нейронных сетей.
1. Предложены следующие приемы, упрощающие и делающие более гибким процесс вербализации (семантического анализа – осмысления в терминах проблемной области) извлеченного из сети набора правил:
a) На основе гипотезы о неединственности извлекаемых правил и учитывая, что разные фрагменты сети (поднаборы правил) будут более или менее правдоподобны и интерпретируемы, предложено конструирование новой, более понятной пользователю нейронной сети из наиболее просто интерпретируемых фрагментов других сетей, решающих ту же задачу.
b) Предложено добавление выходного сигнала некоторого фрагмента сети (содержательно интерпретируемого и правдоподобного с точки зрения пользователя) в качестве нового интегрального признака в число независимых признаков таблицы данных, и решение задачи извлечения знаний на основе полученного расширенного набора признаков.
2. Разработано техническое задание на новую версию программы-нейроимитатора, реализующую предложенные технологии.
3. Усовершенствован метод семантического дифференциала Осгуда при помощи технологии разреживания обучаемых нейронных сетей. Проведена серия экспериментов, заключающихся в исследовании индивидуальных смысловых пространств, проинтерпретированы их результаты. Предложена гипотеза о структуре индивидуального пространства смыслов: оно состоит из многообразия малой размерности, задаваемого культурой («ман-многообразия» от немецкого безличного местоимения «man») и сравнительно небольшого множества индивидуальных отклонений, которые могут быть важны для диагностики. Каждая культура имеет небольшое количество специфических для нее ман -многообразий (субкультур).
Основные положения работы докладывались на VI, VII Всероссийских семинарах "Нейроинформатика и ее приложения", (Красноярск, 1998, 2000 гг), I, Всероссийской научно-технической конференции "Нейроинформатика" (Москва, МИФИ, 1999 г.), VI Международной конференции "Математика. Компьютер. Образование" (1999г, Пущино), International Joint Conference on Neural Networks (1999г, Washington, DC, USA), XXXVII Международной научной студенческой конференции "Cтудент и научно-технический прогресс": Информационные технологии. Новосибирск, НГУ, 1999 (награждена Дипломом 3 степени).
По теме диплома автором опубликована 1 статья в научном журнале и 4 тезиса докладов.
Введение
Первый параграф определяет понятия "знание" и "приобретение знания".
Второй параграф посвящен обзору существующих методов извлечения и приобретения знаний. Рассматриваются существующие в теории классических экспертных систем методы приобретения знаний, рассматриваются использующиеся для извлечения знаний из таблиц данных методы статистического анализа, математического моделирования и идентификации.
Третий параграф описывает набор требований к направленной на конечного пользователя технологии извлечения знаний.
Под знанием понимается достаточно широкий спектр информации. В [1,с.430-432] представлена следующая классификация типов знаний:
Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18
