|
|
|
|
Для этого в качестве ответа на каждую из задач скользящего контроля подавалось среднее значение ответов десяти нейросетей - экспертов. Результаты этого эксперимента представлены в табл. 3.
Здесь Nиссл - число исследуемых в данной группе, H1 - H10 - средние ошибки предсказания статуса для каждой из сетей консилиума, Hср - среднее значение ошибки по всем сетям консилиума, Hвыб - ошибка предсказания всем консилиумом.
Таким образом по трем группам средний модуль ошибки составляет 3,08 (или, в относительных цифрах, средняя погрешность составляет 30,8%).
Такая погрешность является удовлетворительной для задачи предсказания статуса членов группы, поскольку как правило не выводит испытуемого из групп классификации - «лидер»-«середняк»-«аутсайдер», то есть отражает тенденцию вхождения в группу нового человека.
Кроме того, при статистическом исследовании экспериментальных выборок было вычислено среднее расстояние между случайными оценками и
,
где N - количество элементов выборки.
Можно считать, что характеризует математическое ожидание расстояния между двумя случайными примерами выборки.
Для экспериментов установления статуса тестируемых в группе , или 40.33%. Таким образом можно утверждать, что полученная сетью погрешность (30,8%) значимо отличается от случайной.
Следующая серия экспериментов производилась с целью уяснения, насколько можно предсказывать результаты вхождения в одну группу на базе опыта, накопленного сетью по другой группе.
В ходе экспериментов для каждой из групп был обучен консилиум из десяти нейросетей (их характеристики, как и в предыдущих экспериментах, Nneu=16, =0,1). Здесь задачник подавался для обучения полностью, то есть сеть обучалась предсказанию статуса по всем представителям группы. Затем на сетях этого консилиума тестировались две другие группы.
Для сглаживания фактора случайности при генерации сетей в качестве вычисленных значений при расчете ошибки определения статуса брались по каждой оценке средние значения из вычисленных десятью сетями консилиума. Результаты этой серии экспериментов представлены в табл. 4.
|
Таблица 4 Результаты перекрестного тестирования | |||||||||||||
|
Об. |
Тст. |
H1 |
H2 |
H3 |
H4 |
H5 |
H6 |
H7 |
H8 |
H9 |
H10 |
Hср |
Hвыб |
|
1 |
2 |
1,87 |
3,96 |
2,85 |
3,65 |
4,62 |
1,82 |
2,82 |
1,97 |
1,77 |
4,32 |
2,97 |
2,48 |
|
1 |
3 |
2,26 |
3,98 |
3,58 |
3,61 |
2,36 |
2,46 |
3,64 |
2,16 |
2,55 |
3,11 |
2,97 |
1,79 |
|
2 |
1 |
4,31 |
4,03 |
3,92 |
3,48 |
4,17 |
3,66 |
3,83 |
4,33 |
4,03 |
3,78 |
3,95 |
3,5 |
|
2 |
3 |
3,82 |
1,81 |
2,91 |
3,43 |
2,75 |
3,13 |
3,08 |
2,53 |
2,57 |
3,06 |
2,91 |
2,05 |
|
3 |
1 |
3,4 |
4,09 |
3,21 |
2,91 |
2,76 |
3,65 |
3,03 |
2,56 |
2,89 |
3,51 |
3,20 |
2,79 |
|
3 |
2 |
3,60 |
3,28 |
3,72 |
2,94 |
4,24 |
4,30 |
3,91 |
4,35 |
3,60 |
4,13 |
3,81 |
3,77 |
|
|
Здесь Об. - порядковый номер группы, по которой обучались нейронные сети консилиума, Тст. - порядковый номер группы, по которой сети тестировались.
При анализе данной серии экспериментов заметны следующие закономерности:
– предсказание социального статуса испытуемых нейронными сетями, обученными по другим группам (не по тем, в которой производилось определение статуса при социометрическом опросе) по своему качеству несколько хуже, чем такое же предсказание, сделанное нейросетями, обученными на этой же группе;
– однако, в большинстве случаев (в двух третях из проведенных экспериментов) оценка качества (средний модуль ошибки Hвыб) является приемлемой (менее 3 баллов или, в относительных значениях - менее 30%);
– хорошо видно, как при предсказании статуса испытуемых в группах реализуется принцип создания надежных систем из ненадежных элементов, заложенный в концепцию нейронных сетей: ошибка предсказания одной нейросетью может составлять неприемлемо большую величину, однако консилиум из нескольких нейросетей решает задачу существенно лучше - ошибка предсказания консилиумом сетей меньше большинства из ошибок отдельных сетей, она также всегда меньше чем среднее значение ошибок отдельных сетей консилиума.
После оценки качества предсказания между группами решено было проверить гипотезу о том, что нейросеть может накапливать опыт не только по отдельной группе, но и аккумулировать его по любой заданной последовательности испытуемых. Для проверки гипотезы была предпринята следующая серия экспериментов: данные по всем группам были объединены в один задачник, по которому проводилось скользящее тестирование консилиума из десяти сетей - экспертов. Результаты данной серии из 480 экспериментов представлены в табл. 5.
|
Таблица 5 Результаты тестирования консилиумов сетей, обученных по полной выборке. | |
|
№ эксперта |
Hвыб |
|
1 |
3,02 |
|
2 |
2,56 |
|
3 |
2,88 |
|
4 |
3,04 |
|
5 |
2,94 |
|
6 |
2,88 |
|
7 |
2,74 |
|
8 |
2,46 |
|
9 |
2,59 |
|
10 |
3,12 |
|
Весь консилиум |
2,32 |
Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17
При использовании материалов активная ссылка на источник обязательна.