Preview

Информатика

Расширенный поиск

ТЕСТОВАЯ ЗАДАЧА ДЛЯ ВИЗУАЛИЗАЦИИ ПРОЦЕССА ОБУЧЕНИЯ НЕЙРОННОЙ СЕТИ

Полный текст:

Аннотация

При разработке и реализации любого нейросетевого алгоритма возникает задача тестирования его работоспособности. В таких случаях используются различные тестовые задачи. При этом, как и в других областях научной деятельности, исследователю приходится использовать методы визуализации данных с целью более эффективного их анализа. Однако большинство тестовых задач не позволяют наглядно и объективно судить о ходе поиска решения в пространстве функции ошибки. В статье дан краткий обзор методов, применяемых для визуализации процесса обучения нейронной сети, а также описан подход к тестированию алгоритмов обучения нейронных сетей, основанный на использовании тестовых задач, обладающих известной функцией ошибки. В качестве иллюстрации к данному подходу  предложена простая тестовая задача для нейронной сети минимального размера, которая позволяет наглядно визуализировать процесс обучения и объективно судить о его ходе.

Об авторе

В. В. Сарапас
Объединенный институт проблем информатики НАН Беларуси
Беларусь


Список литературы

1. Everitt B.S. Graphical techniques for multivariate data. – London: Heinemann educational books, 1978.

2. Manly B.F.J. Multivariate statistical methods: A primer. – London: Chapman and Hall, 1994.

3. Phillips S. The effect of representation on error surface // Fourth Australian conference on neural networks (ACNN’93). – Australia: University of Sydney, 1993. – P. 86–89.

4. Hush D.R., Horne B., Salas J. M. Error surfaces for multi-layer perceptrons // IEEE Transactions on systems, man, and cybernetics. – V. 22. – № 5. – 1992. – P. 1152–1161.

5. Hamey L.G.C. The structure of neural network error surfaces // Proc. Sixth Australian сonference on neural networks. – University of Sydney, 1995. – P.197–200.

6. Androulakis G.S., Magoulas G.D., Vrahatis M. N. Geometry of learning: Visualizing the performance of neural network supervised training methods // Nonlinear analysis, theory, methods & applications. – V. 30. – № 7. – 1997. – P. 4359–4544.

7. Jolliffe T. Principal component analysis. – New-York: Springer-Verlag, 1986.

8. Wejchert J. and Tesauro G. Neural network visualization // Advances in neural information processing systems. – V. 2. – 1990. – P. 465–472.

9. Nilsson N.J. Learning machines. – New-York: McGraw-Hill, 1965.

10. Hinton G.E., McClelland J.L. and Rumelhart D.E. Distributed representations // Parallel distributed processing. – V.1. – Chapter 3. – 1986. – P. 77–109.

11. UCI Machine learning repository // http://www.ics.uci.edu/~mlearn/MLRepository.html

12. UCI Knowledge discovery in databases // http://kdd.ics.uci.edu/

13. Delve: Data for Evaluating Learning in Valid Experiments // http://www.cs.toronto.edu/~delve/

14. Bilkent university function approximation repository // http://funapp.cs.bilkent.edu.tr/funapp/

15. CEDAR: Database of handwritten cities, states, ZIP codes, digits, and alphabetic characters // http://www.cedar.buffalo.edu/Databases/

16. Otago speech corpus // http://divcom.otago.ac.nz/infosci/kel/software/RICBIS/hyspeech_main.html

17. Lisboa P.J.G., Perantonis S.J. Complete solution of the local minima in the XOR problem // Network. – V. 2. –1991. – P. 119–124.

18. Hamney L.G.C. XOR has no local minima: a case study in neural network error surface analysis // Neural Networks. – V. 11 – № 4. – 1998. – P. 669–682.

19. Sprinkhuizen-Kuyper I.G., Boers E.J.W. The error surface of the 2-2-1 XOR network: the finite stationary points // Neural Networks. – V. 11 – № 4. – 1998. – P. 683–690.

20. Auer P., Herbster M. and Warmuth M.K. Exponentially many local minima for single neurons // Technical Report UCSC-CRL-96-1. – Univ. of Calif. computer research lab., 1996.


Для цитирования:


Сарапас В.В. ТЕСТОВАЯ ЗАДАЧА ДЛЯ ВИЗУАЛИЗАЦИИ ПРОЦЕССА ОБУЧЕНИЯ НЕЙРОННОЙ СЕТИ. Информатика. 2005;(1(5)):58-67.

For citation:


. . Informatics. 2005;(1(5)):58-67. (In Russ.)

Просмотров: 39


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 1816-0301 (Print)
ISSN 2617-6963 (Online)