Разработан метод получения явных знаний из данных с помощью логически прозрачных нейронных сетей, получаемых из произвольных обученных сетей специальной процедурой контрастирования (скелетонизации). Этот метод позволяет получить явные зависимости выходных сигналов нейронной сети от входных. В случае решения задач классификации в большинстве случаев удается получить схему логического вывода.
Разработан метод построения минимально необходимых наборов входных данных и построения на их основе наборов входных данных повышенной надежности (устойчивости к искажениям во входных данных). Доказаны теоремы, устанавливающие соотношения между такими наборами, построенными различными способами.
Разработан метод конструирования нейронных сетей из простейших элементов и более простых сетей. Предложен способ описания процесса конструирования и язык для записи его результата. Сформулировано три метода построения двойственных сетей и проведено их сравнение.
Получены оценки способности сети ассоциативной памяти к точному воспроизведению эталонов. В работе рассмотрена сеть Хопфилда, функционирующая в дискретном времени. Разработаны методы, позволяющие повысить ее информационную емкость. С помощью этих методов построены три сети ассоциативной памяти, имеющие большую информационную емкость и менее зависящие от степени коррелированности эталонов. Предложен метод конструирования сетей ассоциативной памяти со свойствами, необходимыми для решения конкретной задачи. Доказана теорема об информационной емкости ортогональной тензорной сети.
Предложенная функциональная модель была частично реализована в ряде программных продуктов, разработанных Красноярской группой Нейрокомп. Так в программе Eye, разработанной автором в 1989 году, впервые были реализованы и опробованы эффективные функции оценки. Данная программа широко использовалась в учебном процессе и послужила одной из базовых программ при проведении Первой Всесоюзной олимпиады по нейрокомпьютингу (Омск, 1991 год). В 1993 году автором была разработана серия программ, под общим названием «Нейроучебник», которые до сих пор используются в учебном процессе в ряде красноярских вузов. В программе Sigmoid1 из этой серии впервые было реализовано контрастирование. На этой программе была получена первая логически прозрачная нейронная сеть. В программе Hopfield из той же серии впервые была реализована ортогональная сеть ассоциативной памяти.
В 1993-1995 годах на ВЦ СО РАН в г. Красноярске под руководством автора работал программистский семинар по разработке нейросетевых приложений. Одним из результатов работы семинара явилось появление программы MultyNeuron. Результаты использования программы в медицине опубликованы различными исследователями более чем в 50 работах.
В 1996-2000 годах по проекту «Разработка и программная реализация технологии производства явных знаний из данных с помощью обучаемых нейронных сетей» № 05.04.1291 подпрограммы «Перспективные информационные технологии» Федеральной целевой программы на 1996-2000 годы «Исследования и разработки по приоритетным направлениям развития науки и техники гражданского назначения» под руководством автора были разработаны три программы FAMaster [186], NeuroPro [237] и GISNNA [180]. На базе этих программ защищено три кандидатские диссертации. В приложении к диссертации приведены 26 актов о внедрении.
На защиту выносятся.
1. Функциональная модель универсального нейрокомпьютера. Принципы выделения функциональных компонентов. Декомпозиция нейрокомпьютера на функциональные компоненты в соответствии с предложенными принципами.
2. Принцип построения эффективных функций оценки, позволяющих ускорить обучение нейронной сети, оценить уровень уверенности нейронной сети в полученном ответе, обучить с малой надежностью сеть решению тех задач, которые сеть данной архитектуры не может решить с высокой надежностью.
3. Метод получения явных знаний из данных с помощью логически прозрачных нейронных сетей, получаемых из произвольных обученных сетей специальной процедурой контрастирования.
4. Метод построения минимально необходимых наборов входных данных и построения на их основе наборов входных данных повышенной устойчивости к искажениям во входных данных. Теоремы о соотношениях между различными видами таких наборов.
5. Метод описания процедуры конструирования нейронных сетей из простейших элементов и более простых сетей. Язык описания результатов конструирования.
6. Методы повышения информационной емкости сетей ассоциативной памяти, функционирующих в дискретном времени. Метод конструирования сетей ассоциативной памяти со свойствами, необходимыми для решения конкретной задачи. Теорема об информационной емкости ортогональной тензорной сети.
Публикации. По теме диссертации опубликовано более 40 работ, в том числе одна монография без соавторов, одна коллективная монография (сборник лекций) и одно учебное пособие.
Апробация работы. Основные положения и результаты работы докладывались на 1 Всероссийском рабочем семинаре «Нейроинформатика и нейрокомпьютеры», Красноярск (1993); 2, 3, 4, 5, 6, 7, 8 Всероссийских рабочих семинарах «Нейроинформатика и ее приложения», Красноярск (1994 – 2000); научно-технической конференции «Проблемы техники и технологий XXI века», Красноярск (1994); межрегиональной конференции «Проблемы информатизации региона» (1995); 1, 2 IEEE-RNNS Symposium, Rostov-on-Don (1992, 1995); IEEE International Conference on Neural Networks, Houston, IEEE (1997); III Международной конференции "Математика, компьютер, образование". - Москва (1996); International Joint Conference on Neural Networks, Washington, DC, USA, 1999; 10th International. Congress of chemical engineering, chemical equipment design and automation, Praha (1990); Международном конгрессе «Индустриальная и прикладная математика», Новосибирск (1998).
Кроме того, основные положения работы были представлены на Всемирном конгрессе по нейронным сетям (WCNN'95) (1995).
Термин «Нейрокомпьютер» не имеет четкого определения, поэтому определим, что называется нейрокомпьютером в данной работе: нейрокомпьютер это устройство для решения какой либо задачи, в качестве основного решающего устройства использующее искусственную нейронную сеть. Для данной работы не важно в каком виде существует нейронная сеть и весь нейрокомпьютер – в виде программной эмуляции, специализированного устройства или любом другом. Речь пойдет об универсальном (решающем любые задачи) идеальном (не привязанном к какой либо реализации или элементной базе) нейрокомпьютере. Однако прежде чем переходить к содержательному обсуждению, необходимо описать ситуацию в нейроинформатике в целом.
В нейроинформатике существует три направления, которые условно можно назвать биологическим, модельным и инженерным (эта классификация впервые была введена А.Н. Горбанем на лекциях по нейронным сетям, прочитанным в ЛЭТИ в 1991 году в ходе подготовки к Первой Всесоюзной Олимпиаде по нейрокомпьютингу среди студентов и школьников). Цель работ биологического направления – понять, как устроена нервная система (например, [15, 16, 23, 29, 102, 106, 113, 116, 137, 145, 172, 173, 179, 182, 242, 244, 263, 268, 293, 348, 369, 370, 372, 373, 378]). Как правило, работы этого направления проходят следующие этапы. Сначала выдвигается гипотеза о биологическом механизме решения, каким либо отделом мозга определенной задачи. Далее строится компьютерная модель для проверки этой гипотезы. В ходе построения модели используются либо уже известные нейронные сети, либо предлагается новый вид сети.
В работах модельного направления исследуются свойства искусственных нейронных сетей. Как правило, исследователи берут ранее известную нейронную сеть и исследуют ее возможности. В работах этого направления есть она особенность, которая является одновременно и сильным и слабым местом одновременно – фактический отказ от модернизации архитектуры нейронной сети. С точки зрения исследователя модельного направления сеть с модернизированной архитектурой это совсем другая сеть.
Работы инженерного направления посвящены использованию искусственных нейронных сетей для решения практических задач. При этом степень сходства используемой нейронной сети с биологическим аналогом не имеет значения. Инженерное направление заимствовало из естественных нейронных сетей два основных принципа:
много простых элементов решают сложную задачу;
обучение вместо программирования.
Инженерное направление в свою очередь делится на два поднаправления – теоретическое и практическое. Исследователи теоретического направления занимаются разработкой нейронных сетей для решения определенных задач и исследованием их возможностей. Основное отличие теоретического поднаправления от модельного направления состоит в том, что при необходимости архитектура нейронной сети, правила обучения и другие компоненты нейрокомпьютера свободно модифицируются для решения поставленной задачи. Содержание девятой главы может служить типичным примером работы теоретического инженерного подхода. Другие примеры работ данного направления можно найти , например, в [8, 37, 107, 176, 222, 224, 230, 231, 256, 349, 365, 367]. Работы практического направления, как правило, содержат решение конкретной прикладной задачи. На нейросетевых и медицинских конференциях в последние годы докладываются сотни работ этого направления. В Красноярске на базе нейросетевого эмулятора MultyNeuron [193, 194, 287] разработано свыше двух десятком различных медицинских экспертных систем [18, 49 – 52, 73, 93 – 96, 163, 164, 169, 201]. Число нейросетевых экспертных систем в различных областях насчитывает несколько тысяч. Примерами таких работ могут служить следующие работы [24, 121, 246, 249, 252, 253, 257 – 260, 272, 275, 284, 287, 292, 308, 310, 314, 315, 318, 331, 333 – 335, 337, 339, 342 – 344, 346, 350, 356, 359, 363, 366, 368, 377].
Несмотря на то, что обычно большинство работ нельзя однозначно отнести к какому либо из перечисленных выше направлений, использование предложенной классификации работ позволяет яснее представить место работы в современной нейроинформатике. Автор относит свою работу к теоретическому поднаправлению инженерного направления.
Методы нейроинформатики успешно зарекомендовали себя в настолько широком круге приложений, что стали темой многих публикаций в изданиях, не имеющих прямого отношения к науке [99. 169]. Этот успех опирается на две предпосылки – универсальность нейронных сетей [38, 39, 57, 64, 70, 286] и способность вырабатывать нечто, напоминающее человеческую интуицию [101, 110, 254, 269, 270]. Безусловно, для большинства задач, решаемых методами нейроинформатики, существуют традиционные методы решения (см. например [4, 5, 17, 19, 89, 103, 109, 111, 113, 117 – 119, 128, 129, 271, 319, 360]). Более того, существует ряд работ, посвященных решению классических задач методами нейроинформатики (см. например, [89, 129, 176, 222, 276, 277, 299, 320, 328, 349]). Однако, для применения большинства традиционных методов необходимо, во-первых, знать о них, во-вторых, знать их область их применения и ограничения. В то время, как успех нейроинформатики основан на утверждении «нейронные сети могут все». Это утверждение долгое время было лозунгом нейроинформатики, а сравнительно недавно было строго доказано [38, 39, 57, 64, 70, 136, 266, 323]. Основные задачи и преимущества нейроинформатики подробно рассмотрены в [59 – 62, 71, 74, 108, 146, 151, 152, 170, 174, 245, 248, 262, 279, 281, 288, 290, 317]
Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76
