Штучний інтелект

Анотація: У сучасних підходах до глибоких нейронних мереж виникає ряд актуальних питань, пов’язаних із процесом навчання та з обчислювальними затратами. У статті розглянуто архітектуру нейронної мережі, у якій реалізовано альтернативний підхід до базової одиниці нейронної мережі. За рахунок цього досягається оптимізація обчислень і з’являється новий погляд на розв’язання відомих проблем глибоких мереж – зникального та вибухального градієнта. У статті розглянуто глибоку стекову нову нечітку систему, в якій використано узагальнений ново-нечіткий нейрон для оптимізації процесу навчання. З теоретичного погляду такий підхід є нестандартним, тож у роботі наведено необхідні математичні викладки та описано всі практичні тонкощі використання цієї архітектури. З теоретичної сторони повністю розкрито процес навчання такої мережі. Зроблені всі необхідні викладки щодо використання алгоритму зворотного поширення похибки для навчання цієї мережі. Особливістю мережі є швидке обчислення похідної для активаційних функцій нейронів. Це досягається за рахунок використання нечітких (фаззі) функцій належності. В роботі показано, що похідна такої функції є константою, а це є приводом для того, щоб припустити наявність приросту за швидкістю оптимізації у порівнянні з нейронними мережами, що використовують нейрони з більш поширеними функціями активації (ReLU, sigmoid). У роботі висвітлено основні аспекти, які можна покращити у подальших теоретичних дослідженнях на цю тему. Загалом ці питання пов’язані з обчисленням функції активації. Запропоновані методи справляються з цим завданням і дозволяють проводити апроксимацію за допомогою мережі, але автори вже мають теоретичні обґрунтування для покращення швидкодії та апроксимаційних властивостей мережі. У роботі показані результати порівняння запропонованої конфігурації зі стандартними архітектурами нейронних мереж.

Ключові слова: глибока стекова мережа, новий нечіткий нейрон, багатошарова нейронна мережа, F-перетворення.

Посилання:

1. Deep Learning / Бенжіо Й., Лікун Я., Хінтон Дж. // Nature: Науковий журнал. – 2015. – № 521 – С.436-444.
2. Deep learning in neural networks: An overview / Шмідхубер Ю. // Neural Networks: Науковий журнал. – 2015–01 С.85-117.
3. Deep Learning / [Я. Гудфеллоу, Й. Бенжіо, А. Коурвіль]; – MIT Press, 2016. -787с.
4. Грауп Д. Deep Learning Neural Networks: Design and Case Studies / New York: World Scientific, 2016. – 260с.
5. Deep Neural Networks in a Mathematical Framework / [Катерині А., Чанг Д.]; – Springer, 2018. –79c.
6. Neural Networks for Optimization and Signal Processing / [Чічокі А., Унбехан Р.]; – Stuttgart: Teubner, 1993. -526c.
7. Цибенко Дж. Approximation by superpositions of a sigmoidal function /– Math. Control Signals Systems. – 1985 – 2 – с.303-314.
8. Горнік К. Approximation capabilities of multilayer feedforward networks – 1994 – 4 – с.251-257.
9. Аггарвал Ч. Neural Networks and Deep Learning – Cham: Springer, 2018-512c.
10. Нео фаззі нейрон та його використання для систем ідентифікації. / [Ямакава Т., Учино І., Мікі Т., Кусанагі Х.,] Proc. 2nd Int. Conf. on Fuzzy Logic and Neural Networks, - 1992. - с.477-483.
11. Учино І., Ямакава Т., / A neo fuzzy neuron and its applications to system identification and predictions to system behavior. - Proceedings Sixth International Conference on Tools with Artificial Intelligence – New Orlean, LA, USA, 1994 – с.564-570.
12. Мікі Т., Ямакава Т., / Analog implementation of neo-fuzzy neuron and its on-board learning. In Computational Intelligence and Applications, Piraeus: WSES Press, 1999, с.144-149.
13. Колодязний В., Бодянській Є.В., / Fuzzy Kolmogorov's network – Лекції ШІ. – 3214 – Heidelberg: Springer Verlag, 2004. – с.764-771.
14. Бодянській Є.В., Колодязний В., Отто П. / Neuro-fuzzy Kolmogorov's network for time series prediction and pattern classification – Лекції ШІ – 3698 – Heidelberg: Springer Verlog, 2005. – с.191-202.
15. Бодянській Є.В., Попов С., Рибалченко Т., / Multilayer neuro-fuzzy network for short term electric load forecasting – Лекції ШІ. – 5010 – Berlin-Heidelberg: Springer Verlag, 2008. – с.339-348.
16. Бодянській Є.В., Виконкурова О., Селтак Дж., Пелешко Д., Мулеса П., Adaptive multivariate hybrid neuro-fuzzy system and its on-board fast learning – Neurocomputing – 2017 – 230-с.409-416.
17. Перфільєва І., / Fuzzy transforms: Theory and applications // – Нечіткі множини та системи – 2006 – 157 – с.993-1023.
18. Бодянській Є.В., Колодязний В., Стефан А./ An adaptive learning algorithm for a neuro-fuzzy network - Ed. by B.Reush “Computitional Intelligence. Theory and Application” – Berlin-Heidelberg: Ney York: Springer, 2001. – с.68-75.
19. Отто П., Бодянській Є.В., Колодязний В., / A new learning algorithm for a forecasting neuro-fuzzy network - Integrated Computer Aided Engineering – 2003 – 10(4) – с.399-409.