АНАЛИЗ АЛГОРИТМОВ ФЕДЕРАТИВНОГО ОБУЧЕНИЯ
DOI:
https://doi.org/10.52167/1609-1817-2024-131-2-297-304Ключевые слова:
федеративное обучение, FedAVG, FedVar, FedDC, FedMA, FedDyn, FedAla, FedProx, FedAG фреймворк, датасетАннотация
В настоящее время невозможно представить мир информационных технологий без больших данных. Известно, что данные хранятся в централизованных мощных серверах, что вынуждает компании искать более новые, дорогостоящие решения, которые высвечивают проблемы с производительностью, с масштабируемостью и с качеством данных. Одним из основных недостатков сбора данных в централизованных серверах, является увеличение общего времени обработки, сетевого трафика, безопасности и конфиденциальность данных. Применение федеративного обучения, которое предложила компания Google, может стать решением вышеперечисленных проблем. Основной идеей выступает построение моделей федеративного обучения из набора данных без обмена ими между устройствами. В этой статье представлены шаги с которых можно начать для внедрения федеративного обучения. Мы рассмотрели следующие аспекты: датасеты, фреймворки, архитектуры которые применяются при изучении федеративного обучения. Представлен краткий анализ алгоритмов федеративного обучения: FedAVG, FedVar, FedDC, FedMA, FedDyn, FedAla, FedProx, FedAG.
Библиографические ссылки
[1] Konecný, J., McMahan, H.B., Yu, F.X., Richtárik, P., Suresh, A.T., & Bacon, D. Federated Learning: Strategies for Improving Communication Efficiency//Computer Sciences, 2016. doi:10.48550/arXiv.1610.05492.
[2] Kholod, I.I., Yanaki, E., Fomichev, D., Shalugin, E., Novikova, E., Filippov, E., & Nordlund, M. Open-Source Federated Learning Frameworks for IoT: A Comparative Review and Analysis//Sensors (Basel, Switzerland), 2020, #21.
[3] Huang, R., & Guo, W. Federated Recommendation Algorithm Based on Model Comarison //International Conference on Data Science and Network Security (ICDSNS), 2023, p.1-6.
[4] Shin, W., & Shin, J. FedVar: Federated Learning Algorithm with Weight Variation in Clients//2022 37th International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC), 2022, p.1-4.
[5] Sahu, A., Li, T., Sanjabi, M., Zaheer, M., Talwalkar, A., & Smith, V. Federated Optimization in Heterogeneous Networks, 2018.
[6] Zhao, Y. Comparison of Federated Learning Algorithms for Image Classification//2023 2nd International Conference on Data Analytics, Computing and Artificial Intelligence (ICDACAI), 2023, p.613-615.
[7] Jin, C., Chen, X., Gu, Y., & Li, Q. FedDyn: A dynamic and efficient federated distillation approach on Recommender System//2022 IEEE 28th International Conference on Parallel and Distributed Systems (ICPADS), 2022, p.786-793.
[8] Zhang, W., Zhao, Y., Li, F., & Zhu, H. A Hierarchical Federated Learning Algorithm Based on Time Aggregation in Edge Computing Environment//Applied Sciences, 2023.
[9] Gao, L., Fu, H., Li, L., Chen, Y., Xu, M., & Xu, C. FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022, 10102-10111.
[10] Wang, H., Yurochkin, M., Sun, Y., Papailiopoulos, D., & Khazaeni, Y. Federated Learning with Matched Averaging, 2020.
[11] Xu, M., Zeng, Y., Xue, M., Zhang, J., Wan, J., Zhou, M., Wen, Y., & Shi, Y. FedAG:A Federated Learning Method Based on Data Importance Weighted Aggregation//2023 IEEE/CIC International Conference on Communications in China (ICCC), 2023, p.1-6.
[12] Zhang, J., Hua, Y., Wang, H., Song, T., Xue, Z., Ma, R., & Guan, H. FedALA: Adaptive Local Aggregation for Personalized Federated Learning, 2022.
[13] Xu, M., Zeng, Y., Xue, M., Zhang, J., Wan, J., Zhou, M., Wen, Y., & Shi, Y. FedAG:A Federated Learning Method Based on Data Importance Weighted Aggregation//2023 IEEE/CIC International Conference on Communications in China (ICCC), 2023, p.1-6.
[14] Panigrahi, M., Bharti, S., & Sharma, A. Federated Learning for Beginners: Types, Simulation Environments, and Open Challenges//2023 International Conference on Computer, Electronics & Electrical Engineering & their Applications (IC2E3), 2023, p.1-6.
Загрузки
Опубликован
Как цитировать
Выпуск
Раздел
Лицензия
Copyright (c) 2024 Гульнара Бектемысова, Гульназ Бакирова
Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial-NoDerivatives» («Атрибуция — Некоммерческое использование — Без производных произведений») 4.0 Всемирная.
