Штучний інтелект

Анотація: Досліджено підходи до підвищення ефективності інтелектуальних систем діагностичного моделювання в умовах високої розмірності простору ознак і великих обсягів даних. Показано, що традиційні індуктивні алгоритми машинного навчання, зокрема k-nearest neighbors, support vector machines, нейронні мережі та ансамблеві моделі характеризуються високою обчислювальною складністю пошуку подібних об’єктів у багатовимірному просторі, що пов’язано з явищем «прокляття розмірності» та обмежує їх застосування у задачах оперативного діагностичного аналізу. Для зменшення обчислювальних витрат у роботі досліджено використання методу локально-чутливого хешування (Locality-Sensitive Hashing, LSH), який дозволяє ефективно здійснювати пошук найближчих сусідів шляхом відображення векторів ознак у простір хеш-значень. Поєднання LSH з індуктивними алгоритмами навчання забезпечує скорочення кількості операцій порівняння та підвищення швидкодії моделей без істотної втрати точності класифікації. У межах дослідження проведено порівняльний аналіз моделей kNN, SVM, багатошарових персептронів та ансамблевих методів у поєднанні з локально-чутливим хешуванням на основі набору даних Breast Cancer Wisconsin Diagnostic Dataset із використанням мови програмування Python та бібліотек Scikit-learn, NumPy, Pandas, Annoy і Matplotlib. На відміну від традиційних підходів, оцінювання ефективності моделей здійснювалося не лише за класичними метриками Accuracy, Precision, Recall та F1-score і часовими характеристиками класифікації, але й за запропонованою авторською системою багатокритеріальних показників, що включає час побудови хеш-індексу, час пошуку кандидатів, параметричну складність моделей, коефіцієнт якості колізій, коефіцієнт локальної компактності хеш-простору та інтегральний показник ефективності моделі. Отримані результати показали, що використання LSH дозволяє суттєво підвищити швидкодію індуктивних алгоритмів машинного навчання при збереженні високих показників точності класифікації. Встановлено, що найбільший приріст швидкодії демонструє модель kNN + LSH, тоді як ансамблева модель Random Forest + LSH забезпечує найкраще узагальнене співвідношення між точністю класифікації, швидкодією та структурною компактністю сформованого хеш-простору відповідно до інтегрального критерію ефективності.

Ключові слова: індуктивне навчання, локально-чутливе хешування, діагностичне моделювання, багатокритеріальне оцінювання ефективності, машинне навчання, kNN, SVM, нейронні мережі, ансамблеві моделі

Посилання:

1. Cover, T. M., Hart, P. E. (1967) Nearest neighbor pattern classification. IEEE Transactions on Information Theory, 13 (1), 21–27. doi: 10.1109/TIT.1967.1053964.
2. Cortes, C., Vapnik, V. (1995) Support-vector networks. Machine Learning, 20 (3), 273–297. doi: 10.1007/BF00994018.
3. Breiman, L. (2001) Random forests. Machine Learning, 45 (1), 5–32. doi: 10.1023/A:1010933404324.
4. LeCun, Y., Bengio, Y., Hinton, G. (2015) Deep learning. Nature, 521 (7553), 436–444. doi: 10.1038/nature14539.
5. Indyk, P., Motwani, R. (1998) Approximate nearest neighbors: towards removing the curse of dimensionality. Proceedings of the 30th Annual ACM Symposium on Theory of Computing (STOC ’98), 604–613. doi: 10.1145/276698.276876
6. Datar, M., Immorlica, N., Indyk, P., Mirrokni, V. S. (2004) Locality-sensitive hashing scheme based on p-stable distributions. Proceedings of the 20th Annual Symposium on Computational Geometry (SCG ’04), 253–262. doi: 10.1145/997817.997857.
7. Slaney, M., Casey, M. (2008) Locality-sensitive hashing for finding nearest neighbors. IEEE Signal Processing Magazine, 25 (2), 128–131. doi: 10.1109/MSP.2007.914237.
8. Paulevé, L., Jégou, H., Amsaleg, L. (2010) Locality sensitive hashing: a comparison of hash function types and querying mechanisms. Pattern Recognition Letters, 31 (11), 1348–1358. doi: 10.1016/j.patrec.2010.04.004.
9. Chi, L., Zhu, X. (2017) Hashing techniques: a survey and taxonomy. ACM Computing Surveys, 50 (1), Article 11, 1–36. doi: 10.1145/3047307.
10. Wang, J., Zhang, T., Song, J., Sebe, N., Shen, H. T. (2018) A survey on learning to hash. IEEE Transactions on Pattern Analysis and Machine Intelligence, 40 (4), 769–790. doi: 10.1109/TPAMI.2017.2699960.
11. Aumüller, M., Bernhardsson, E., Faithfull, A. (2020) ANN-Benchmarks: a benchmarking tool for approximate nearest neighbor algorithms. Information Systems, 87, Article 101374. doi: 10.1016/j.is.2019.02.006.
12. Aumüller, M., Ceccarello, M. (2021) The role of local dimensionality measures in benchmarking nearest neighbor search. Information Systems, 101, Article 101807. doi: 10.1016/j.is.2021.101807.
13. Subbotin, S. A. (2014) Methods and characteristics of locality-preserving transformations in the problems of computational intelligence. Radio Electronics, Computer Science, Control, (1), 120–128. doi: 10.15588/1607-3274-2014-1-17.
14. Naderan, M., Zaychenko, Y. P. (2019) Methods for improving accuracy of the dementia diagnosis using feature dimension reduction. System Research and Information Technologies, (2), 25–30. doi: 10.20535/SRIT.2308-8893.2019.2.03.
15. Nastenko, I. A., Maksymenko, V. B., Potashev, S. V., Pavlov, V. A., Babenko, V. O., Rysin, S. V., Matviichuk, O. V., Lazoryshynets, V. V. (2021) Random Forest algorithm construction for the diagnosis of coronary heart disease based on echocardiography video data streams. Innovative Biosystems and Bioengineering, 5 (1), 61–69. doi: 10.20535/ibb.2021.5.1.225794.
16. Petrunina, O., Shevaga, D., Babenko, V., Pavlov, V., Rysin, S., Nastenko, I. (2021) Comparative analysis of classification algorithms in the analysis of medical images from speckle tracking echocardiography video data. Innovative Biosystems and Bioengineering, 5 (3), 153–166. doi: 10.20535/ibb.2021.5.3.234990
17. Цюцюра, М. І., Коваленко, А. Ю. (2024) Оцінка алгоритмів виявлення аномалій за допомогою методів машинного навчання. Управління розвитком складних систем, 58, 80–85. doi: 10.32347/2412-9933.2024.58.80-85.
18. Wolberg, W. H., Street, W. N., Mangasarian, O. L. (1995) Machine learning techniques to diagnose breast cancer from fine-needle aspirates. Cancer Letters, 77 (2–3), 163–171. doi: 10.1016/0304-3835(93)90194-N.