Штучний інтелект

Анотація: У цій роботі визначені та описані перспективні архітектурні рішення для згорткових нейронних мереж, а також розглянуті їх ключові параметри для подальшого структурного та параметричного синтезу. Описані переваги та недоліки різних блоків, а також обґрунтована їхня доцільність під час структурного синтезу. Пропонується використовувати генетичний еволюційний алгоритм для структурно-параметричного синтезу, а також розглянуті сучасні підходи. Показано та описано процес налаштування еволюційного алгоритму. На основі критеріїв оптимізації визначені функція пристосованості, методи селекції, мутації та кросовера. Результати експериментального еволюційного процесу були показані та проаналізовані. Розглянуто приклад моделі, створеної еволюційними алгоритмами, що базується на використанні функціональних блоків, агрегованих з різних архітектурних підходів згорткових нейронних мереж. Для кожної моделі під час процесу синтезу розраховано критерії продуктивності, включаючи середнє скорочення часу навчання, їхні переваги та деталі архітектурної інтеграції. На основі експериментальних результатів доведено, що використання складних структурних блоків замість традиційних шарів з гнучкою конфігурацією функції пристосованості за обома критеріями якості та продуктивності показує значне покращення для кінцевої моделі.

Ключові слова: структурно-параметричний синтез, генетичний алгоритм, згорткові нейронні мережі

Посилання:

1. M. Meza-Sánchez, E. Clemente, M.C. Rodríguez-Liñán, G. Olague, "Synthetic-analytic behavior-based control framework: Constraining velocity in tracking for nonholonomic wheeled mobile robots" in Information Sciences, vol. 501, 2019, pp. 436-459, doi: 10.1016/j.ins.2019.06.025.
2. S. Jiang and S. Yang, "A Strength Pareto Evolutionary Algorithm Based on Reference Direction for Multiobjective and Many-Objective Optimization," in IEEE Transactions on Evolutionary Computation, vol. 21, no. 3, pp. 329-346, June 2017, doi: 10.1109/TEVC.2016.2592479.
3. J. Li, Y. Wen and L. He, "SCConv: Spatial and Channel Reconstruction Convolution for Feature Redundancy," 2023 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Vancouver, BC, Canada, 2023, pp. 6153-6162, doi: 10.1109/CVPR52729.2023.00596.
4. Dürr, P., Mattiussi, C., Floreano, D., ”Neuroevolution with Analog Genetic Encoding” in Parallel Problem Solving from Nature, 2006, vol 4193. Springer, Berlin, Heidelberg. https://doi.org/10.1007/11844297_68.
5. C. Nagpal and S. R. Dubey, "A Performance Evaluation of Convolutional Neural Networks for Face Anti Spoofing," in International Joint Conference on Neural Networks, Budapest, Hungary, 2019, pp. 1-8, doi: 10.1109/IJЗНМ.2019.8852422.
6. D. Kingma, J. Ba, “Adam: A Method for Stochastic Optimization. International Conference on Learning Representations”. 2015, 30 Jan 2017, pp. 1–15.
7. N. Hansen, D. V. Arnold and A. Auger, “Evolution Strategies”, 2018, doi: 10.1007/978-3-319-07124-4_13.
8. C. Cao, Y. Huang, Y. Yang, L. Wang, Z. Wang and T. Tan, "Feedback Convolutional Neural Network for Visual Localization and Segmentation," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 41, no. 7, pp. 1627-1640, 1 July 2019, doi: 10.1109/TPAMI.2018.2843329.
9. M. K. Yadav and K. P. Sharma, "Intrusion Detection System using Machine Learning Algorithms: A Comparative Study," 2021 2nd International Conference on Secure Cyber Computing and Communications, Jalandhar, India, 2021, pp. 415-420, doi: 10.1109/ICSCCC51823.2021.9478086.
10. N. Shone, T. N. Ngoc, V. D. Phai and Q. Shi, "A Deep Learning Approach to Network Intrusion Detection," in IEEE Transactions on Emerging Topics in Computational Intelligence, vol. 2, no. 1, pp. 41-50, Feb. 2018, doi: 10.1109/TETCI.2017.2772792.