АДАПТАЦИЯ И СРАВНИТЕЛЬНАЯ ОЦЕНКА ПРЕДОБУЧЕННЫХ МОДЕЛЕЙ В ЗАДАЧЕ КЛАССИФИКАЦИИ ТЕКСТА НА КАЗАХСКОМ ЯЗЫКЕ
DOI:
https://doi.org/10.52167/1609-1817-2026-144-3-353-369Ключевые слова:
Обработка естественного языка, трансформерные архтектуры, казахский язык, предобученные языковые модели, T5, RoBERTa, классификация текстаАннотация
В данной статье исследуется применение моделей BERT, T5 и RoBERTa для классификации текстов на казахском языке. Эти модели относятся к современным трансформерным архитектурам и успешно используются в задачах обработки естественного языка. Благодаря своим особенностям они хорошо подходят для работы с морфологически сложными языками, к которому относится казахский. В данной работе рассматривается возможность использования данных, подготовленных для задачи распознавания именованных сущностей (NER), при классификации текстов. Для этого была проведена оценка моделей с учетом особенностей казахского языка, а также рассмотрены этапы подготовки данных и последующего дообучения моделей. В результате экспериментов выявлены наилучшие подходы к классификации текстов на казахском языке с использованием моделей BERT, T5 и RoBERTa.
Библиографические ссылки
Manning C. D., Schütze H. (1999). Foundations of Statistical Natural Language Processing. Cambridge, Massachusetts: The MIT Press.
Akusok, A., Eirola, E. (2020). Comparison of Classification Methods for Very High-Dimensional Data in Sparse Random Projection Representation. In: Cao, J., Vong, C., Miche, Y., Lendasse, A. (eds) Proceedings of ELM 2018. ELM 2018. Proceedings in Adaptation, Learning and Optimization, vol 11. Springer, Cham. https://doi.org/10.1007/978-3-030-23307-5_3
Rokach L., Maimon O. (2005). Decision Trees. In: Maimon, O., Rokach, L. (eds) Data Mining and Knowledge Discovery Handbook. Springer, Boston, MA. https://doi.org/10.1007/0-387-25465-X_9
Oralbekova, D., Mamyrbayev, O., Othman, M., Alimhan, K., Zhumazhanov, B., Nuranbayeva, B. (2022). Development of CRF and CTC Based End-To-End Kazakh Speech Recognition System. In: Nguyen, N.T., Tran, T.K., Tukayev, U., Hong, TP., Trawiński, B., Szczerbicki, E. (eds) Intelligent Information and Database Systems. ACIIDS 2022. Lecture Notes in Computer Science(), vol 13757. Springer, Cham. https://doi.org/10.1007/978-3-031-21743-2_41
Manning, C. D., Raghavan, P., Schütze, H. (2008). Introduction to Information Retrieval. Cambridge: Cambridge University Press
Deng L., Yu D. (2014). Deep Learning: Methods and Applications. Found. Trends Signal Process., vol. 7, pp. 197-387
Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A.N., Kaiser Ł., Polosukhin I. (2017). Attention is all you need. In Proceedings of the 31st International Conference on Neural Information Processing Systems (NIPS'17). Curran Associates Inc., Red Hook, NY, USA, pp. 6000–6010
Kalyan K.S., Rajasekharan A., Sangeetha S. (2021). AMMUS: A Survey of Transformer-based Pretrained Models in Natural Language Processing. ArXiv, abs/2108.05542
Liu Y., Ott M., Goyal N., Du J., Joshi M., Chen D., Levy O., Lewis M., Zettlemoyer L., Stoyanov V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. ArXiv, abs/1907.11692
Raffel C., Shazeer N., Roberts A., Lee K., Narang S., Matena M., Zhou Y., Li W., Liu P.J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. The Journal of Machine Learning Research, vol. 21, issue 1, pp. 5485 - 5551
K. Rani Narejo, H. Zan, D. Oralbekova, K. Parkash Dharmani, M. Orken, K. Mukhsina. (2024). Enhancing Emoji-Based Sentiment Classification in Urdu Tweets: Fusion Strategies With Multilingual BERT and Emoji Embeddings. IEEE Access, vol. 12, pp. 126587-126600, 2024, doi: 10.1109/ACCESS.2024.3446897
Oralbekova, D., Mamyrbayev, O., Zhumagulova, S., Zhumazhan, N. (2024). A Comparative Analysis of LSTM and BERT Models for Named Entity Recognition in Kazakh Language: A Multi-classification Approach. In: Agarwal, N., Sakalauskas, L., Tukeyev, U. (eds) Modeling and Simulation of Social-Behavioral Phenomena in Creative Societies. MSBC 2024. Communications in Computer and Information Science, vol 2211. Springer, Cham. https://doi.org/10.1007/978-3-031-72260-8_10
Qasim R, Bangyal WH, Alqarni MA, Ali Almazroi A. (2022). A Fine-Tuned BERT-Based Transfer Learning Approach for Text Classification. J Healthc Eng. 2022 Jan 7;2022:3498123. doi: 10.1155/2022/3498123
Semary NA, Ahmed W, Amin K, Pławiak P, Hammad M. (2023). Improving sentiment classification using a RoBERTa-based hybrid model. Front Hum Neurosci. 2023 Dec 7;17:1292010. doi: 10.3389/fnhum.2023.1292010
Koksal O., Yılmaz E. (2022). Improving automated Turkish text classification with learning-based algorithms. Concurrency and Computation Practice and Experience, vol. 34, issue 11. https://doi.org/10.1002/cpe.6874
Aytan B., Sakar C. (2022). Comparison of Transformer-Based Models Trained in Turkish and Different Languages on Turkish Natural Language Processing Problems. 2022 30th Signal Processing and Communications Applications Conference (SIU), pp. 1-4 https://doi.org/10.1109/SIU55565.2022.9864818
Erkan A., Güngör T., (2023). Analysis of Deep Learning Model Combinations and Tokenization Approaches in Sentiment Classification. IEEE Access, vol. 11, pp. 134951-134968, 2023, https://doi.org/10.1109/ACCESS.2023.3337354
Onan A., Balbal K.F. (2024). Improving Turkish Text Sentiment Classification Through Task-Specific and Universal Transformations: An Ensemble Data Augmentation Approach. IEEE Access, vol. 12, pp. 4413-4458. https://doi.org/10.1109/ACCESS.2024.3349971
Skenderi E., Huhtamäki J., Stefanidis K. (2021). Multi-Keyword Classification: A Case Study in Finnish Social Sciences Data Archive. Information. 2021; 12(12):491. https://doi.org/10.3390/info12120491
Alammary A.S. (2022). BERT Models for Arabic Text Classification: A Systematic Review. Applied Sciences. 2022; 12(11):5720. https://doi.org/10.3390/app12115720
Lee E., Lee C., Ahn S. (2022). Comparative Study of Multiclass Text Classification in Research Proposals Using Pretrained Language Models. Applied Sciences. 2022; 12(9):4522. https://doi.org/10.3390/app12094522
Kuriyozov E., Salaev U., Matlatipov S., Matlatipov G. (2023). Text classification dataset and analysis for Uzbek language. arXiv preprint arXiv:2302.14494, 22, 2023
Agbesi V.K., Chen W., Yussif S.B., Hossin M.A., Ukwuoma C.C., Kuadey N.A., Agbesi C.C., Abdel Samee N., Jamjoom M.M., Al-antari M.A. (2024). Pre-Trained Transformer-Based Models for Text Classification Using Low-Resourced Ewe Language. Systems. 2024; 12(1):1. https://doi.org/10.3390/systems12010001
Bogdanchikov A., Ayazbayev D., Varlamis I. (2022). Classification of Scientific Documents in the Kazakh Language Using Deep Neural Networks and a Fusion of Images and Text. Big Data and Cognitive Computing. 2022; 6(4):123. https://doi.org/10.3390/bdcc6040123
Oralbekova D, Mamyrbayev O, Othman M, Kassymova D, Mukhsina K. (2023). Contemporary Approaches in Evolving Language Models. Applied Sciences. 2023; 13(23):12901. https://doi.org/10.3390/app132312901
Yeshpanov R., Khassanov Y., Varol H. A. (2022). KazNERD: Kazakh Named Entity Recogni-tion Dataset. Proceedings of the 13th Conference on Language Resources and Evaluation (LREC 2022), European Language Resources Association, 20-25 June 2022, p. 417-426
Wang M.; Xie P.; Du Y.; Hu X. (2023). T5-Based Model for Abstractive Summarization: A Semi-Supervised Learning Approach with Consistency Loss Functions. Appl. Sci. 2023, 13, 7111. https://doi.org/10.3390/app13127111.
Загрузки
Опубликован
Как цитировать
Выпуск
Раздел
Категории
Лицензия
Copyright (c) 2026 Дина Оралбекова, Оркен Мамырбаев , Айнур Ахмедиярова , Динара Касымова, Жибек Алибиева
Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial-NoDerivatives» («Атрибуция — Некоммерческое использование — Без производных произведений») 4.0 Всемирная.
