ТЕСТОВАЯ ЗАДАЧА ДЛЯ ВИЗУАЛИЗАЦИИ ПРОЦЕССА ОБУЧЕНИЯ НЕЙРОННОЙ СЕТИ
Аннотация
При разработке и реализации любого нейросетевого алгоритма возникает задача тестирования его работоспособности. В таких случаях используются различные тестовые задачи. При этом, как и в других областях научной деятельности, исследователю приходится использовать методы визуализации данных с целью более эффективного их анализа. Однако большинство тестовых задач не позволяют наглядно и объективно судить о ходе поиска решения в пространстве функции ошибки. В статье дан краткий обзор методов, применяемых для визуализации процесса обучения нейронной сети, а также описан подход к тестированию алгоритмов обучения нейронных сетей, основанный на использовании тестовых задач, обладающих известной функцией ошибки. В качестве иллюстрации к данному подходу предложена простая тестовая задача для нейронной сети минимального размера, которая позволяет наглядно визуализировать процесс обучения и объективно судить о его ходе.
Список литературы
1. Everitt B.S. Graphical techniques for multivariate data. – London: Heinemann educational books, 1978.
2. Manly B.F.J. Multivariate statistical methods: A primer. – London: Chapman and Hall, 1994.
3. Phillips S. The effect of representation on error surface // Fourth Australian conference on neural networks (ACNN’93). – Australia: University of Sydney, 1993. – P. 86–89.
4. Hush D.R., Horne B., Salas J. M. Error surfaces for multi-layer perceptrons // IEEE Transactions on systems, man, and cybernetics. – V. 22. – № 5. – 1992. – P. 1152–1161.
5. Hamey L.G.C. The structure of neural network error surfaces // Proc. Sixth Australian сonference on neural networks. – University of Sydney, 1995. – P.197–200.
6. Androulakis G.S., Magoulas G.D., Vrahatis M. N. Geometry of learning: Visualizing the performance of neural network supervised training methods // Nonlinear analysis, theory, methods & applications. – V. 30. – № 7. – 1997. – P. 4359–4544.
7. Jolliffe T. Principal component analysis. – New-York: Springer-Verlag, 1986.
8. Wejchert J. and Tesauro G. Neural network visualization // Advances in neural information processing systems. – V. 2. – 1990. – P. 465–472.
9. Nilsson N.J. Learning machines. – New-York: McGraw-Hill, 1965.
10. Hinton G.E., McClelland J.L. and Rumelhart D.E. Distributed representations // Parallel distributed processing. – V.1. – Chapter 3. – 1986. – P. 77–109.
11. UCI Machine learning repository // http://www.ics.uci.edu/~mlearn/MLRepository.html
12. UCI Knowledge discovery in databases // http://kdd.ics.uci.edu/
13. Delve: Data for Evaluating Learning in Valid Experiments // http://www.cs.toronto.edu/~delve/
14. Bilkent university function approximation repository // http://funapp.cs.bilkent.edu.tr/funapp/
15. CEDAR: Database of handwritten cities, states, ZIP codes, digits, and alphabetic characters // http://www.cedar.buffalo.edu/Databases/
16. Otago speech corpus // http://divcom.otago.ac.nz/infosci/kel/software/RICBIS/hyspeech_main.html
17. Lisboa P.J.G., Perantonis S.J. Complete solution of the local minima in the XOR problem // Network. – V. 2. –1991. – P. 119–124.
18. Hamney L.G.C. XOR has no local minima: a case study in neural network error surface analysis // Neural Networks. – V. 11 – № 4. – 1998. – P. 669–682.
19. Sprinkhuizen-Kuyper I.G., Boers E.J.W. The error surface of the 2-2-1 XOR network: the finite stationary points // Neural Networks. – V. 11 – № 4. – 1998. – P. 683–690.
20. Auer P., Herbster M. and Warmuth M.K. Exponentially many local minima for single neurons // Technical Report UCSC-CRL-96-1. – Univ. of Calif. computer research lab., 1996.
Рецензия
Для цитирования:
Сарапас В.В. ТЕСТОВАЯ ЗАДАЧА ДЛЯ ВИЗУАЛИЗАЦИИ ПРОЦЕССА ОБУЧЕНИЯ НЕЙРОННОЙ СЕТИ. Информатика. 2005;(1(5)):58-67.
Просмотров: 562
Послать статью по эл. почте 