Штучний інтелект

Анотація: У цій роботі розглянуто застосування сучасних інтелектуальних технологій в системах інформаційного пошуку. Представлена загальна схема реалізації пошукових систем в Інтернеті і наведені існуючі й перспективні підходи до інтелектуалізації окремих компонентів цієї схеми. Надано підхід до створення системи інтелектуальних агентів збору інформації, які гуртуються в рої та обмінюються між собою результатами роботи, формують надійну основу інформаційної бази пошукових систем, забезпечують безперебійну роботу системи при виході з ладу окремих агентів. Також розглянуто методи формування семантичних мереж, що відповідають текстам окремих документів. Ці мережі серед іншого розглядаються як пошукові образи документів для здійснення інформаційного пошуку і виявлення дублікатів або подібних документів. Методи машинного навчання застосовуються для виявлення тональності текстових повідомлень, сентимент-аналізу. У роботі описано підхід, який дозволив здійснити перехід від застосування наївної байєсовської моделі до сучасної системи машинного навчання. Також розглядаються питання кластерного аналізу і візуалізації результатів пошуку.

Ключові слова: інформаційний пошук, інтелектуальні технології, агенти збору інформації, сентимент-аналіз, кластеризація, прогнозування, обробка природної мови.

Посилання:

1. Lande D.V., Barkova O.V. Elektronna bіblіoteka jak seredovishhe adaptivnogo agreguvannja іnformacії // Bіblіotechnij vіsnik. – 2013. – N 2. – C. 12-17.
2. Newman, M.E.J. The structure and function of complex networks. SIAM Review, vol. 45. pp. 167–256.(2003). doi:10.1137/S003614450342480.
3. Snarskij A.A., Landje D.V. Modelirovanie slozhnyh setej: uchebnoe posobie. – Kiev: Inzhiniring, 2015. – 212 s. ISBN 978-966-2344-44-8.
4. Jan Žižka, František Dařena, Arnoš Svoboda. Text Mining with Machine Learning: Principles and Techniques. – CRC Press, 2020. – 366 p. ISBN 978-113-8601-82-6.
5. Lande D., Subach I., Puchkov O., Soboliev A. A Clustering Method for Information Summarization and Modelling a Subject Domain. Information & Security: An International Journal 50, Iss. 1 (2021): 79-86. doi.org/10.11610/isij.5013.
6. Zgurovsky M., Lande D., Boldak A., Yefremov K., Perestyuk M. Linguistic Analysis of Internet Media and Social Network Data in the Problems of Social Transformation Assessment. Cybern Syst. Anal. 57, 228-237 (2021). doi.org/10.1007/s10559-021-00348-8.
7. Dodonov A.G., Landje D.V., Prishhepa V.V., Putjatin V.G. Komp'juternaja konkurentnaja razvedka. – K.:TOV "Inzhiniring", 2021.–354 s. ISBN 978-966-2344-79-0.
8. Sobolєv A.M., Lande D.V. Rozpodіlenі іntelektual'nі agenti dobuvannja kontentu іz socіal'nih merezh // Materіali naukovo-praktichnoї konferencії "Іnformacіjno-telekomunіkacіjnі sistemi і tehnologії ta kіberbezpeka: novі vikliki, novі zavdannja". – Kiїv: ІSZZІ KPІ іm. Іgorja Sіkors'kogo, 2021. – C. 274-275.
9. Shennon Brjedshou, Jon Brjezil, Kristina Hodorov. MongoDB: polnoe rukovodstvo. Moshhnaja i masshtabiruemaja sistema upravlenija bazami dannyh. – M.: DMK Press, 2020. – 540 s.
10. Dmytro Lande, Oleh Dmytrenko. Using Part-of-Speech Tagging for Building Networks of Terms in Legal Sphere // Proceedings of the 5th International Conference on Computational Linguistics and Intelligent Systems (COLINS 2021). Volume I: Main Conference Lviv, Ukraine, April 22-23, 2021. CEUR Workshop Proceedings (ceur-ws.org).-Vol-2870.-pp. 87-97. ISSN 1613-0073. [http://ceur-ws.org/Vol-2870/paper9.pdf].
11. B. Santorini, Part-of-speech tagging guidelines for the Penn Treebank Project, Department of Computer and Information Science School of Engineering and Applied Science University of Pennsylvania Philadelphia, PA 19104, 1990.
12. Universal POS tags. URL:https://universaldependencies.org/docs/u/pos/.
13. Ukrainian-Stopwords. URL:https://github.com/skupriienko/Ukrainian-Stopwords.
14. Lande, D.V., Dmitrenko, O.O., Radzієvs'ka, O.G.: Viznachennja naprjamkіv zv’jazkіv u merezhі termіnіv. Іnformacіjnі tehnologії ta bezpeka. Materіali XIX Mіzhnarodnoї naukovo - praktichnoї konferencії, ІTB-2019, C. 103-112. K.: OOO "Inzhiniring" (2019).
15. Luque, B., Lacasa, L., Ballesteros, F., & Luque, J.: Horizontal visibility graphs: Exact results for random time series. Physical Review E, 80(4), (2009). doi: 10.1103/PhysRevE.80.046103.
16. Lacasa, L., Luque, B., Ballesteros, F., Luque, J. & Nuno, J.C.: From time series to complex networks: The visibility graph. Proceedings of the National Academy of Sciences, 105 (13), 4972-4975 (2008). doi: 10.1073/pnas.0709247105.
17. Lande, D.V., Snarskii, A.A., Yagunova, E.V., & Pronoza, E.V.: The use of horizontal visibility graphs to identify the words that define the informational structure of a text. In: 2013 12th Mexican International Conference on Artificial Intelligence, pp. 209-215 (2013).
18. D.V.Lande, O.O.Dmytrenko, and O.H.Radziievska, “Determining the Directions of Links in Undirected Networks of Terms”, in: CEUR Workshop Proceedings (ceur-ws.org). Vol-2577 urn: nbn: de: 0074-2318-4. Selected Papers of the XIX International Scientific and Practical Conference "Information Technologies and Security" (ITS 2019). vol. 2577, 2019, pp. 132-145. ISSN 1613-0073.
19. Dmytro Lande, Oleh Dmytrenko, Creating Directed Weighted Network of Terms Based on Analysis of Text Corpora, 2020 IEEE 2nd International Conference on System Analysis & Intelligent Computing (SAIC) (Kyiv, 5-9 Oct. 2020). doi.org/10.1109/SAIC51296.2020.9239182.