Штучний інтелект

Анотація: У статті запропоновано інверсну архітектуру нейронної мережі U-Net, названу InvU-Net, яка відрізняється від традиційної схеми збільшенням розмірності зображень на початкових етапах обробки. Проведено порівняння двох підходів до збільшення роздільної здатності зображень: шарів UpSampling2D і транспонованих згорткових шарів Conv2DTranspose. Останні показали кращі результати завдяки можливості навчання вагових коефіцієнтів. У межах дослідження створено і протестовано кілька модифікацій InvU-Net: Small, Medium і Large, які відрізняються складністю структури, кількістю шарів і параметрів. Для підвищення точності сегментації було запропоновано інтеграцію механізмів уваги з метою покращення релевантності обробки ознак. Експерименти виявили, що спрощення механізмів уваги, включаючи зменшення кількості параметрів і вибір оптимальних точок інтеграції, дозволяє досягати високих результатів за меншої обчислювальної складності. Найкраща розроблена модель зі спрощеним механізмом уваги досягла точності 95.6%, перевершивши більш масштабні архітектури. Отримані результати демонструють перспективність використання InvU-Net для завдань сегментації та пропонують подальші напрямки оптимізації, зокрема використання адаптивних механізмів уваги та автоматизацію вибору параметрів нейромережі.

Ключові слова: сегментація зображень, нейронні мережі, архітектура U-Net, InvU-Net, згорткові шари, Conv2DTranspose, UpSampling2D, механізм уваги, оптимізація параметрів

Посилання:

1. J. Long, E. Shelhamer, and T. Darrell, “Fully Convolutional Networks for Semantic Segmentation,” in 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, USA, 2015, pp. 3431–3440. DOI: 10.1109/CVPR.2015.7298965.
2. V. Slyusar, M. Protsenko, A. Chernukha, V. Melkin, O. Petrova, M. Kravtsov, S. Velma, N. Kosenko, O. Sydorenko and M. Sobol, “Improving a neural network model for semantic segmentation of images of monitored objects in aerial photographs,” EasternEuropean Journal of Enterprise Technologies, 2021, vol. 2, no. 6 (114), pp. 86-95. DOI: 10.15587/1729-4061.2021.248390
3. Vadym Slyusar, Ihor Sliusar, Nataliia Bihun, and Volodymyr Piliuhin. Segmentation of analogue meter readings using neural networks. // 44th International Workshop on Modern Machine Learning Technologies and Data Science MOMLET&DS2022, Leiden - Lviv, The Netherlands - Ukraine, 23 -25 Nov. 2022. – Pp. 165 - 175.
4. O. Ronneberger, P. Fischer, and T. Brox. U-Net: Convolutional Networks for Biomedical Image Segmentation. arXiv preprint arXiv:1505.04597, 2015. DOI: 10.48550/arXiv.1505.04597.
5. W. Jwaid, Z. Al-Husseini and A. Sabry, Development of brain tumor segmentation of magnetic resonance imaging (MRI) using U-Net deep learning, Eastern-European Journal of Enterprise Technologies, vol. 4, no. 9 (112), 2021, pp. 23-31. doi:10.15587/1729-4061.2021.238957.
6. N. Singh and K. Nongmeikapam, Semantic segmentation of satellite images using deep-UNet, Arabian Journal for Science and Engineering, 2022, pp. 1-13.
7. A. Soni, R. Koner, and V. Villuri, M-Unet: Modified U-Net segmentation framework with satellite imagery, in: Proceedings of the Global AI Congress 2019, Springer, 2020, pp. 47-59.
8. E. Irwansyah, Y. Heryadi, and A. Gunawan, Semantic image segmentation for building detection in urban area with aerial photograph image using U-Net models, in: Proceedings of the 2020 IEEE Asia-Pacific Conf. on Geoscience, Electronics and Remote Sensing Technology (AGERS), 2020, pp. 48-51.
9. Vadym Slyusar, Ihor Sliusar, Pavlenko Anatolii. Improved PSP and U-Net architectures for forest segmentation in remote sensing pictures.// IEEE 2nd Ukrainian Microwave Week (Virtual Event) IEEE UkrMW-2022, 14 – 18 November, 2022. - V. N. Karazin Kharkiv National University, Kharkiv, Ukraine. – 4 p. DOI: 10.1109/UkrMW58013.2022.10037105.
10. N. Singh and K. Nongmeikapam, “Semantic segmentation of satellite images using deep-UNet,” Arabian Journal for Science and Engineering, 2022, pp. 1-13.
11. A. Soni, R. Koner, and V. G. K. Villuri, “M-Unet: Modified U-Net segmentation framework with satellite imagery,” in Proceedings of the Global AI Congress 2019, Springer, 2020, pp. 47-59.
12. E. Irwansyah, Y. Heryadi, and A. Gunawan, “Semantic image segmentation for building detection in urban area with aerial photograph image using U-Net models,” in 2020 IEEE Asia-Pacific Conf. on Geoscience, Electronics and Remote Sensing Technology (AGERS), 2020, pp. 48-51.
13. V. Slyusar. The text segmentation by neural networks of image segmentation.// Artificial Intelligence, 2024, Vol. №98, No 1.- Pp. 46 - 55. DOI: 10.15407/jai2024.01.046.
14. A. Vaswani et al., “Attention Is All You Need,” in Advances in Neural Information Processing Systems, vol. 30, 2017, pp. 5998–6008. DOI: 10.48550/arXiv.1706.03762.
15. Слюсар, В.І. Застосування нейромережевих технологій для виявлення підводних боєприпасів.// Вісті вищих учбових закладів. Радіоелектроніка. - Т. 65, № 12, 2022. - 12 с. DOI: 10.20535/S0021347023030020.
16. C. C. Aggarwal, Neural Networks and Deep Learning, 2nd ed. Cham, Switzerland: Springer, 2023. DOI: 10.1007/978-3-031-29642-0.
17. Слюсар В.И., Слюсарь И.И. Анализ эффективности механизмов внимания в задаче сегментации изображений циферблатов аналоговых счетчиков. // Нейромережні технології та їх застосування НМТіЗ-2022: збірник наукових праць XXI-ї Міжнародної наукової конференції «Нейромережні технології та їх застосування НМТіЗ-2022», 7-8 грудня 2022 року, Краматорськ-Тернопіль, Україна. - 7 c.
18. Слюсар В.И. Семейство торцевых произведений матриц и его свойства// Кибернетика и системный анализ. – 1999.- Том 35; № 3.- С. 379-384.- DOI: 10.1007/BF02733426.
19. Слюсар В.І. Архітектурно-математичні основи удосконалення нейронних мереж з класифікації зображень. // Штучний інтелект, 2022, №1.- С. 245 - 258. DOI: 10.15407/jai2022.01.245.