Штучний інтелект

Анотація: Розробка паралельного групового алгоритму навчання зворотного поширення помилки багатошарового персептрону та дослідження його масштабованості на паралельному комп’ютері загального призначення розглянуті в цій статті. Модель багатошарового персептрону та груповий алгоритм його навчання описані формалізованим чином. Паралельний груповий алгоритм навчання представлено в алгоритмічному вигляді. Дослідження масштабованості розробленого паралельного алгоритму здійснено для пропорційно збільшуваного розміру задачі паралелізації на паралельному комп’ютері загального призначення NEC TX-7.

Ключові слова:

Посилання:

1. Haykin S. Neural Networks. – New Jersey : Prentice Hall, 1999.
2. Mahapatra S. A parallel formulation of back-propagation learning on distributed memory multiprocessors /Mahapatra S., Mahapatra R., Chatterji B. // Parallel Computing. – 1997. – Vol. 22, № 12. – P. 1661-1675.
3. Hanzálek Z. A parallel algorithm for gradient training of feed-forward neural networks / Hanzálek Z. //Parallel Computing. – 1998. – Vol. 24, № 5-6. – P. 823-839.
4. Murre J.M.J. Transputers and neural networks: An analysis of implementation constraints and performance / Murre J.M.J. // IEEE Transactions on Neural Networks. – 1993. – Vol. 4, № 2. – P. 284-292.
5. Dongarra J. Clusters and computational grids for scientific computing / Dongarra J., Shimasaki M., Tourancheau B. // Parallel Computing. – 2001. – Vol. 27, № 11. – P. 1401-1402.
6. Topping B.H.V. Parallel training of neural networks for finite element mesh decomposition / Topping B.H.V.,Khan A.I., Bahreininejad A. // Computers and Structures. – 1997. – Vol. 63, № 4. – P. 693-707.
7. Rogers R.O. Using the BSP cost model to optimise parallel neural network training / Rogers R.O.,Skillicorn D.B. // Future Generation Computer Systems. – 1998. – Vol. 14, № 5. – P. 409-424.
8. Parallel implementations of feed-forward neural network using MPI and C# on .NET platform / B. Ribeiro,R.F. Albrecht, A. Dobnikar [et al.] // Proceedings International Conference on Adaptive and Natural Computing Algorithms. – Coimbra (Portugal). – 2005. – P. 534-537.
9. Turchenko V. Computational Grid vs. Parallel Computer for Coarse-Grain Parallelization of Neural Networks Training / Turchenko V. // Lecture Notes in Computing Science LNCS 3762. – 2005. – P. 357-366.
10. Turchenko V. Fine-Grain Approach to Development of Parallel Training Algorithm of Multi-Layer Perceptron / Turchenko V. // Artificial Intelligence. – 2006. – № 1. – P. 94-102.
11. Parallel algorithms to solve two-stage stochastic linear programs with robustness constraints / P. Beraldi,L. Grandinetti, R. Musmanno, C. Triki // Parallel Computing. – 2000. – Vol. 26. – P. 1889-1908.
12. Golovko V. Neural Networks: training, models and applications / V. Golovko, A. Galushkin. – Moscow :Radiotechnika, 2001. – 256 р.