Штучний інтелект

Анотація: Проблема. RAG-системи (Retrieval-Augmented Generation), оптимізовані для англійської мови, демонструють значне зниження якості при роботі з українськомовними текстами через багату флективну морфологію української мови. Сім відмінків, два числа, дієслівні аспекти та вільний порядок слів породжують десятки словоформ одного поняття: оптимізація, оптимізації, оптимізацій, оптимізаціями, оптимізаціям. Стандартні алгоритми лексичного пошуку BM25 та TF-IDF розглядають ці форми як різні лексеми, що критично знижує повноту пошуку. Рішення. Запропоновано систему UA-RAG, що інтегрує три компоненти: (1) алгоритм морфологічної нормалізації на основі суфіксного стемінгу з 15+ правилами для українських суфіксів (-ування, -ення, -ання, -ість, -ного, -них, -ому, -ого, -ами, -ями, -ях, -ів, -ою, -ій, -им, -их) та мінімальною довжиною основи 3 символи; (2) гібридний пошук, що поєднує морфологічно нормалізований BM25 з n-грамним TF-IDF (біграми, триграми) через злиття зворотних рангів (RRF); (3) модуль верифікації фактів на основі аналізу покриття ключових слів запиту з порогом фільтрації 0.3. Результати. Експериментальна оцінка проведена на корпусі з 40 українськомовних фрагментів та 12 тестових запитів. Повна UA-RAG система досягає F1=0.633, NDCG@5=0.724, що на 15.1% перевищує показники наївного TF-IDF (F1=0.550). Морфологічна нормалізація забезпечує приріст +3% F1, верифікація фактів додає +8.6% F1. Дане дослідження представляє перший еталонне тестування українськомовної RAG-системи з морфологічною обробкою.

Ключові слова: генерація з доповненням пошуком, морфологічна нормалізація, українська мова, верифікація фактів, гібридний пошук, BM25, обробка природної мови, великі мовні моделі.

Посилання:

1. Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., ... & Kiela, D. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems, 33, 9459-9474. https://doi.org/10.48550/arXiv.2005.11401
2. Gao, Y., Xiong, Y., Dibia, V., Chi, L., Shu, D., Pham, H., ... & Neville, J. (2024). Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv preprint arXiv:2312.10997. https://doi.org/10.48550/arXiv.2312.10997
3. Sawarkar, K., Mangal, A., & Nanduri, S. R. (2024). Blended RAG: Improving RAG Accuracy with Semantic Search and Hybrid Query-Based Retrievers. arXiv preprint arXiv:2404.07220. https://doi.org/10.48550/arXiv.2404.07220
4. Chan, C., Xu, C., Yuan, R., Luo, S., Zhu, W., & Miao, Y. (2024). RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation. arXiv preprint arXiv:2404.00610. https://doi.org/10.48550/arXiv.2404.00610
5. Asai, A., Wu, Z., Wang, Y., Sil, A., & Hajishirzi, H. (2023). Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection. arXiv preprint arXiv:2310.11511. https://doi.org/10.48550/arXiv.2310.11511
6. Yan, S., Gu, J., Zhu, Y., & Ling, Z. (2024). Corrective Retrieval Augmented Generation. arXiv preprint arXiv:2401.15884. https://doi.org/10.48550/arXiv.2401.15884
7. Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP), 3982-3992. https://doi.org/10.18653/v1/D19-1410
8. Karpukhin, V., Oguz, B., Min, S., Lewis, P., Wu, L., Edunov, S., ... & Yih, W. (2020). Dense Passage Retrieval for Open-Domain Question Answering. Proceedings of EMNLP, 6769-6781. https://doi.org/10.18653/v1/2020.emnlp-main.550
9. Korobov, M. (2015). Morphological Analyzer and Generator for Russian and Ukrainian Languages. Analysis of Images, Social Networks and Texts, 320-332. https://doi.org/10.1007/978-3-319-26123-2_31
10. Santhanam, K., Khattab, O., Saad-Falcon, J., Potts, C., & Zaharia, M. (2022). ColBERTv2: Effective and Efficient Retrieval via Lightweight Late Interaction. arXiv preprint arXiv:2112.01488. https://doi.org/10.48550/arXiv.2112.01488
11. Robertson, S., & Zaragoza, H. (2009). The Probabilistic Relevance Framework: BM25 and Beyond. Foundations and Trends in Information Retrieval, 3(4), 333-389. https://doi.org/10.1561/1500000019
12. Морозов, О. В., & Донець, В. В. (2024). Застосування технології Retrieval-Augmented Generation для побудови інтелектуальних систем відповідей на запити. Вісник НТУ «ХПІ». Серія: Інформатика та моделювання, (1), 88-97. https://doi.org/10.20998/2411-0558.2024.01.08
13. Nahold, O. (2024). RAG-based Approach for Intelligent Document Processing in Low-Code Platforms. Штучний інтелект, (2), 45-56. https://doi.org/10.15407/jai2024.02.045
14. Притула, М. І., Войтко, В. В., & Семенюк, А. О. (2024). Порівняльний аналіз нульового підходу та RAG підходів для задач українськомовного питально-відповідного пошуку. Системні дослідження та інформаційні технології, (3), 112-125. https://doi.org/10.20535/SRIT.2308-8893.2024.3.10
15. Syromiatnikov, D., & Ruvinskaya, V. (2024). UA-LLM: Ukrainian Language Model Pre-trained on Large Text Corpora. Proceedings of the Third Ukrainian Natural Language Processing Workshop (UNLP), 44-52. https://doi.org/10.18653/v1/2024.unlp-1.6
16. Haltiuk, M., & Smywinski-Pohl, A. (2024). LiBERTa: A Ukrainian Language Model Based on DeBERTa. Proceedings of the 2024 Joint International Conference on Computational Linguistics (LREC-COLING), 5765-5774. https://doi.org/10.18653/v1/2024.lrec-main.510
17. Kiulian, A., Osaulenko, V., Kalpakchi, D., & Boström, J. (2024). Adapting Gemma and Mistral Models for Ukrainian Language Tasks. arXiv preprint arXiv:2404.10453. https://doi.org/10.48550/arXiv.2404.10453
18. Рогушина, Ю. В. (2023). Семантичний пошук в українськомовних текстових корпусах. Проблеми програмування, (3-4), 175-186. https://doi.org/10.15407/pp2023.03-04.175
19. Малига, С. В., & Шматков, С. І. (2023). Векторні представлення українських слів: порівняльний аналіз моделей. Радіоелектронні та комп'ютерні системи, (2), 64-75. https://doi.org/10.32620/reks.2023.2.06
20. Prytula, N. (2024). Fine-tuning BERT for Ukrainian Natural Language Processing Tasks. Proceedings of the Third Ukrainian Natural Language Processing Workshop (UNLP), 28-36. https://doi.org/10.18653/v1/2024.unlp-1.4
21. Нич, Л. Я., Крочак, Д. М., & Базилевич, Р. П. (2024). Метрики оцінювання якості інформаційного пошуку: порівняльний аналіз. Вісник Національного університету «Львівська політехніка». Серія: Інформаційні системи та мережі, (15), 88-100. https://doi.org/10.23939/sisn2024.15.088
22. Es, S., James, J., Espinosa-Anke, L., & Schockaert, S. (2023). RAGAS: Automated Evaluation of Retrieval Augmented Generation. arXiv preprint arXiv:2309.15217. https://doi.org/10.48550/arXiv.2309.15217
23. Cormack, G. V., Clarke, C. L. A., & Buettcher, S. (2009). Reciprocal Rank Fusion (RRF) Outperforms Condorcet and Individual Rank Learning Methods. Proceedings of the 32nd International ACM SIGIR Conference, 758-759. https://doi.org/10.1145/1571941.1572114
24. Huang, L., Yu, W., Ma, W., Zhong, W., Feng, Z., Wang, H., ... & Liu, T. (2023). A Survey on Hallucination in Large Language Models. arXiv preprint arXiv:2311.05232. https://doi.org/10.48550/arXiv.2311.05232
25. Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., ... & Fung, P. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys, 55(12), 1-38. https://doi.org/10.1145/3571730