СТРАТЕГИИ И АЛГОРИТМЫ МАШИННОГО ОБУЧЕНИЯ ДЛЯ УЛУЧШЕНИЯ ОБРАБОТКИ ДАННЫХ В РЕАЛЬНОМ ВРЕМЕНИ В СИСТЕМАХ ДИНАМИЧЕСКИХ И БОЛЬШИХ ДАННЫХ
DOI:
https://doi.org/10.52167/1609-1817-2024-134-5-278-291Ключевые слова:
машинное обучение, обработка данных в реальном времени, масштабируемость, динамические системы, Интернет вещей, умные города, облачные вычисления, периферийные вычисленияАннотация
В этой статье были рассмотрены стратегии и алгоритмы машинного обучения, предназначенные для улучшения обработки данных в реальном времени в динамических средах и средах больших данных. По мере увеличения сложности и объема данных потребность в масштабируемых, адаптируемых и эффективных в вычислительном отношении решениях становилась все более острой. Несмотря на значительные достижения, сохранялись пробелы в работе с разнородными источниками данных, обеспечении адаптивности в реальном времени и решении проблем конфиденциальности. В этой статье систематически оценивалась эффективность моделей машинного обучения, включая контролируемое, неконтролируемое и обучение с подкреплением, в различных динамических системах. На основе результатов обзора литературы была разработана возможная структура, описывающая критические процессы, связанные с машинным обучением в реальном времени, такие как прием данных, разработка функций, вывод моделей и непрерывный мониторинг. В рамках платформы были продемонстрированы методы повышения масштабируемости и производительности с использованием облачных вычислений, периферийных решений и автоматического переобучения моделей. Результаты показали, что новые тенденции, такие как федеративное обучение, этический ИИ и нейросимволический ИИ, предлагают многообещающие решения нерешенных проблем. В этой статьте подчеркнута важность продолжения исследований по разработке надежных, безопасных и адаптируемых сред машинного обучения, способных удовлетворить потребности высокоскоростной обработки данных в реальном времени во все более сложных средах.
Библиографические ссылки
[1] Kanchetti, D., Munirathnam, R., & Thakkar, D. (2024). Integration of Machine Learning Algorithms with Cloud Computing for Real-Time Data Analysis. Journal for Research in Applied Sciences and Biotechnology, 3(2), 301-306. https://doi.org/10.55544/jrasb.3.2.46
[2] Abouelyazid, M. (2021). Machine Learning Algorithms for Dynamic Resource Allocation in Cloud Computing: Optimization Techniques and Real-World Applications. Journal of AI-Assisted Scientific Discovery, 1(2), 1-58. https://scienceacadpress.com/index.php/jaasd/article/view/81
[3] Hammou, B. A., Lahcen, A. A., & Mouline, S. (2020). Towards a real-time processing framework based on improved distributed recurrent neural network variants with fastText for social big data analytics. Information Processing & Management, 57(1), 102122. https://doi.org/10.1016/j.ipm.2019.102122
[4] El Bouchefry, K., & de Souza, R. S. (2020). Learning in big data: Introduction to machine learning. In Knowledge discovery in big data from astronomy and earth observation (pp. 225-249). Elsevier. https://doi.org/10.1016/B978-0-12-819154-5.00023-0
[5] Andronie, M., Lăzăroiu, G., Iatagan, M., Hurloiu, I., Ștefănescu, R., Dijmărescu, A., & Dijmărescu, I. (2023). Big data management algorithms, deep learning-based object detection technologies, and geospatial simulation and sensor fusion tools in the internet of robotic things. ISPRS International Journal of Geo-Information, 12(2), 35. https://doi.org/10.3390/ijgi12020035
[6] Lăzăroiu, G., Andronie, M., Iatagan, M., Geamănu, M., Ștefănescu, R., & Dijmărescu, I. (2022). Deep learning-assisted smart process planning, robotic wireless sensor networks, and geospatial big data management algorithms in the internet of manufacturing things. ISPRS International Journal of Geo-Information, 11(5), 277. https://doi.org/10.3390/ijgi11050277
[7] Paramesha, M., Rane, N. L., & Rane, J. (2024). Big data analytics, artificial intelligence, machine learning, internet of things, and blockchain for enhanced business intelligence. Partners Universal Multidisciplinary Research Journal, 1(2), 110-133. https://doi.org/10.5281/zenodo.12827323
[8] Li, W., Chai, Y., Khan, F., Jan, S. R. U., Verma, S., Menon, V. G., ... & Li, X. (2021). A comprehensive survey on machine learning-based big data analytics for IoT-enabled smart healthcare system. Mobile networks and applications, 26, 234-252. https://doi.org/10.1007/s11036-020-01700-6
[9] Wu, X., Wu, Y., Li, X., Ye, Z., Gu, X., Wu, Z., & Yang, Y. (2024). Application of adaptive machine learning systems in heterogeneous data environments. Global Academic Frontiers, 2(3), 37-50. https://doi.org/10.5281/zenodo.12684615
[10] Nti, I. K., Quarcoo, J. A., Aning, J., & Fosu, G. K. (2022). A mini-review of machine learning in big data analytics: Applications, challenges, and prospects. Big Data Mining and Analytics, 5(2), 81-97. https://doi.org/10.26599/BDMA.2021.9020028
[11] Ariyaluran Habeeb, R. A., Nasaruddin, F., Gani, A., Amanullah, M. A., Abaker Targio Hashem, I., Ahmed, E., & Imran, M. (2022). Clustering‐based real‐time anomaly detection—A breakthrough in big data technologies. Transactions on Emerging Telecommunications Technologies, 33(8), e3647. https://doi.org/10.1002/ett.3647
[12] Li, X., Liu, H., Wang, W., Zheng, Y., Lv, H., & Lv, Z. (2022). Big data analysis of the internet of things in the digital twins of smart city based on deep learning. Future Generation Computer Systems, 128, 167-177. https://doi.org/10.1016/j.future.2021.10.006
[13] Reddy Machireddy, J., Kumar Rachakatla, S., & Ravichandran, P. (2021). Leveraging AI and Machine Learning for Data-Driven Business Strategy: A Comprehensive Framework for Analytics Integration. African Journal of Artificial Intelligence and Sustainable Development, 1(2), 12-150. https://africansciencegroup.com/index.php/AJAISD/article/view/126
[14] Himeur, Y., Elnour, M., Fadli, F., Meskin, N., Petri, I., Rezgui, Y., ... & Amira, A. (2023). AI-big data analytics for building automation and management systems: a survey, actual challenges and future perspectives. Artificial Intelligence Review, 56(6), 4929-5021. https://doi.org/10.1007/s10462-022-10286-2
[15] Rathore, M. M., Shah, S. A., Shukla, D., Bentafat, E., & Bakiras, S. (2021). The role of ai, machine learning, and big data in digital twinning: A systematic literature review, challenges, and opportunities. IEEE Access, 9, 32030-32052. https://doi.org/10.1109/ACCESS.2021.3060863
[16] Morariu, C., Morariu, O., Răileanu, S., & Borangiu, T. (2020). Machine learning for predictive scheduling and resource allocation in large scale manufacturing systems. Computers in Industry, 120, 103244. https://doi.org/10.1016/j.compind.2020.103244
[17] Atitallah, S. B., Driss, M., Boulila, W., & Ghézala, H. B. (2020). Leveraging Deep Learning and IoT big data analytics to support the smart cities development: Review and future directions. Computer Science Review, 38, 100303. https://doi.org/10.1016/j.cosrev.2020.100303
[18] Ghazal, T. M. (2022). Data Fusion-based machine learning architecture for intrusion detection. Computers, Materials & Continua, 70(2), 3399-3413. https://doi.org/10.32604/cmc.2022.020173
[19] Bhavani Krothapalli, Lavanya Shanmugam, & Subhan Baba Mohammed. (2023). Machine Learning Algorithms for Efficient Storage Management in Resource-Limited Systems: Techniques and Applications. Journal of Artificial Intelligence Research and Applications, 3(1), 406-442. https://aimlstudies.co.uk/index.php/jaira/article/view/154
[20] Liu, C., Feng, Y., Lin, D., Wu, L., & Guo, M. (2020). Iot based laundry services: an application of big data analytics, intelligent logistics management, and machine learning techniques. International Journal of Production Research, 58(17), 5113-5131. https://doi.org/10.1080/00207543.2019.1677961
[21] Andronie, M., Lăzăroiu, G., Karabolevski, O. L., Ștefănescu, R., Hurloiu, I., Dijmărescu, A., & Dijmărescu, I. (2022). Remote big data management tools, sensing and computing technologies, and visual perception and environment mapping algorithms in the Internet of Robotic Things. Electronics, 12(1), 22. https://doi.org/10.3390/electronics12010022
[22] Zhang, J. Z., Srivastava, P. R., Sharma, D., & Eachempati, P. (2021). Big data analytics and machine learning: A retrospective overview and bibliometric analysis. Expert Systems with Applications, 184, 115561. https://doi.org/10.1016/j.eswa.2021.115561
[23] Ahmad, T., Madonski, R., Zhang, D., Huang, C., & Mujeeb, A. (2022). Data-driven probabilistic machine learning in sustainable smart energy/smart energy systems: Key developments, challenges, and future research opportunities in the context of smart grid paradigm. Renewable and Sustainable Energy Reviews, 160, 112128. https://doi.org/10.1016/j.rser.2022.112128
[24] Rehman, A., Naz, S., & Razzak, I. (2022). Leveraging big data analytics in healthcare enhancement: trends, challenges and opportunities. Multimedia Systems, 28(4), 1339-1371. https://doi.org/10.1007/s00530-020-00736-8
[25] Stergiou, C., & Psannis, K. (2022). Digital twin intelligent system for industrial internet of things-based big data management and analysis in cloud environments. Virtual Reality & Intelligent Hardware. https://doi.org/10.1016/j.vrih.2022
Загрузки
Опубликован
Как цитировать
Выпуск
Раздел
Лицензия
Copyright (c) 2024 Аружан Мектепбаева
Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial-NoDerivatives» («Атрибуция — Некоммерческое использование — Без производных произведений») 4.0 Всемирная.
