Штучний інтелект

Анотація: Розглянуто структурно-параметричний синтез нейронних мереж глибокого навчання, зокрема згорткових нейронних мереж, які використовуються при обробці зображень. Надано класифікацію сучасних архітектур згорткових нейронних мереж. Показано, що практично кожна згорткова нейронна мережа, в залежності від її топології, має унікальні блоки, які визначають її суттєві особливості (наприклад, блок стиснення та збудження (Squeeze and Excitation Block), згортковий блок модуля уваги (Convolutional Block Attention Module), модуль уваги каналу (Channel attention module), модуль просторової уваги (Spatial attention module), залишковий блок (Residual block), початковий модуль (Inception module), блок ResNeXt). Поставлено задачу структурно-параметричного синтезу згорткових нейронних мереж, для розв’язання якої запропоновано використання генетичного алгоритму. Генетичний алгоритм використовується для ефективного подолання великого простору пошуку: з одного боку, для генерації можливих топологій згорткової нейронної мережі, а саме вибору специфічних блоків та місць їх розміщення в структурі згорткової нейронної мережі, а з іншого боку, для розв’язання задачі структурно-параметричного синтезу згорткової нейронної мережі обраної топології. Визначено найбільш значущі параметри згорткової нейронної мережі. Запропоновано метод кодування, який дозволяє представити кожну мережеву структуру у вигляді рядка фіксованої довжини в двійковому форматі. Після цього визначено кілька стандартних генетичних операцій, тобто селекцію, мутацію та кросинговер, які усувають слабких особин попереднього покоління та використовують їх для генерування конкурентних. Наведено приклад розв’язання поставленої задачі: у якості навчальної вибірки використовувалася база даних (результати УЗД-досліджень) пацієнтів із захворюванням щитовидної залози.

Ключові слова: структурно-параметричний синтез; згорткова нейронна мережа; багатокритеріальний генетичний алгоритм; блок стиснення та збудження; згортковий блок модуля уваги; залишковий блок; глибоке навчання

Посилання:

1. Al-Marzouqi H. (2009). Data Clustering Using a Modified Kuwahara Filter, Neural Networks. International Joint Conference. 128-132. DOI: 10.1109/IJCNN.2009.5178658.
2. LeCun Y., Boser B., Denker J. S., Henderson D., Howard R. E., Hubbard W. and Jackel L. D. (1989). Backpropagation Applied to Handwritten Zip Code Recognition, 541-551. DOI: 10.1162/neco.1989.1.4.541.
3. Lee H., Grosse R., Ranganath R., and Ng A. Y. (2009). Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations. In ICML’2009. DOI: 10.1145/1553374.1553453
4. Синєглазов В. М., Чумаченко О. І. (2017). Deep Learning Classifier Based on NEFCLASS and NEFPROX Neural Networks. Матеріали міжнародної науково-практичної конференції «Інформаційні технології та комп’ютерне моделювання». – Івано-Франківськ – Яремче, Україна (15 – 20 травня 2017 р.), 278-281.
5. Чумаченко Е. И., Левицкий О. Ю. (2011). Разработка алгоритма обработки изображений для задач диагностики. Електроніка та системи управління. К.: НАУ, 1 (27), 57-65.
6. Zgurovsky Michael Z., Sineglazov Victor M., Chumachenko Olena I. (2020). Artificial Intelligence Systems Based on Hybrid Neural Networks, Springer, 390. DOI: 10.1007/978-3- 030-48453-8
7. Asifullah Khan, Anabia Sohail, Umme Zahoora, and Aqsa Saeed Qureshi (2020). A Survey of the Recent Architectures of Deep Convolutional Neural Networks. Published in Artificial Intelligence Review, DOI: 10.1007/s10462-020- 09825-6.
8. Franёcois Chollet. (2017). Xception: Deep Learning with Depthwise Separable Convolutions. arXiv:1610.02357v3 [cs.CV] 4 Apr 2017
9. Saining Xie, Ross Girshick, Piotr Dollaґr, Zhuowen Tu, Kaiming He. (2017). Aggregated Residual Transformations for Deep Neural Networks. arXiv:1611.05431v2
10. Xingcheng Zhang, Zhizhong Li, and Chen Change Loy Dahua Lin. (2017). PolyNet: A Pursuit of Structural Diversity in Very Deep Networks. arXiv:1611.05725v2
11. Fei Wang, Mengqing Jiang, Chen Qian, Shuo Yang, Cheng Li, Honggang Zhang, Xiaogang Wang, and Xiaoou Tang. (2017). Residual Attention Network for Image Classification. arXiv:1704.06904v1
12. Sanghyun Woo, Jongchan Park, Joon-Young Lee, and In So Kweon. (2018). CBAM: Convolutional Block Attention Module. arXiv:1807.06521v2 13.Jie Hu1, Li Shen, and Gang Sun. (2018). Squeeze- and-Excitation Networks. Retrieved from https://openaccess.thecvf.com/content_cvpr_2018 /papers/Hu_Squeeze-and- Excitation_Networks_CVPR_2018_paper.pdf