ПОДХОД К ВЫЯВЛЕНИЮ И УСТРАНЕНИЮ ПРОТИВОРЕЧИЙ В БАЗАХ БОЛЬШИХ ДАННЫХ ДЛЯ ЗАДАЧ АНАЛИТИКИ ГОРОДСКОГО ПАССАЖИРСКОГО ТРАНСПОРТА
DOI:
https://doi.org/10.52167/1609-1817-2022-121-2-600-611Ключевые слова:
интеллектуальный город, городской пассажирский транспорт, большие данные, обнаружение и устранение противоречий в больших данных, критерий Граббса, алгоритм k-средних, машинное обучение, интеллектуальный анализАннотация
Целью исследования является разработка подхода для выявления и автоматического устранения противоречий в больших данных для задач аналитики городского пассажирского транспорта. Актуальность выявления и устранения противоречий в больших данных транспортных потоков обусловлена тем фактом, что они преобразуются в значительную информацию для использования в задачах управления. Особенность предложенного подхода состоит в реализации универсального модуля двухуровневого обнаружения противоречий в выбранном наборе данных с использованием статистических методов и алгоритмов машинного обучения. Разработанный модуль «Выявление и устранение противоречий» включает три метода выявления и устранения противоречивых данных: 1) методы статистической обработки; 2) критерий Граббса; 3) алгоритмы машинного обучения: k- средних и многослойная нейронная сеть. Программная реализация системы для предложенного подхода выявления и автоматического устранения противоречий используется для решения задачи формирования расписания городских автобусных маршрутов в пилотном режиме. В статье приведены этапы и результаты численных экспериментов для выбранного набора данных в разработанной системе для предложенного подхода выявления и автоматического устранения противоречий при составлении и корректировке расписания автобусных маршрутов города Алматы.
Библиографические ссылки
[1] Объем данных информации, созданных во всем мире с 2010 по 2025 год. https://www.statista.com/statistics/871513/worldwide-data-created/
[2] Zheng X., Chen W., Wang P., Shen D., Chen S., Wang X., Yang L. Big data for social transportation // IEEE Transactions on Intelligent Transportation Systems. 17(3), 2016. - С.620-630.
[3] Oh S., Byon Y. J., Yeo H. (2016). Improvement of Search Strategy With K-Nearest Neighbors Approach for Traffic State Prediction // IEEE Transactions on Intelligent Transportation Systems, 17(4), 2016. - С.1146-1156.
[4] Shi Q., Abdel-Aty M. (2015). Big data applications in real-time traffic operation and safety monitoring and improvement on urban expressways. Transportation Research Part C: Emerging Technologies, 58, 380-394.
[5] Ahn, J., Ko, E., & Kim, E. Y. (2016). Highway traffic flow prediction using support vector regression and Bayesian classifier. In 2016 International Conference on Big Data and Smart Computing (BigComp) (pp. 239-244).
[6] Xia, D., Wang, B., Li, H., Li, Y., & Zhang, Z. (2016). A distributed spatial–temporal weighted model on MapReduce for short-term traffic flow forecasting. Neurocomputing, 179, 246-263.
[7] Мансурова М.Е.. Шоманов А.С, Тулепбергенов Б.Н., Ихсанов С.С., Дадыкина Е.А. Применение технологии MapReduce Hadoop для кластеризации больших объемов данных // Вестник КазНУ. - Алматы, 2013. - №3(78). – С. 70-82.
[8] Нурлыбаева К. К., Моделирование обработки больших объемов данных // Диссер. на соискание уч. степени доктора фил. (PhD). Алматы, 2015. – С.92.
[9] Zhu H., Xin Y., Wang F. A novel framework for anomaly detection based on hybrid HMM-SVM model // 4th IEEE Inter. Conf. on Broadband Network and Multimedia Technology. - Shenzhen, 2011. P. 670-674.
[10] Han L. Research of K-MEANS Algorithm Based on Information Entropy in Anomaly Detection // Fourth Internat. conf. on multimedia information networking and security. - Nanjing, 2012. P. 71-74.
[11] Saeedi Emadi H., Mazinani S. M. A Novel Anomaly Detection Algorithm Using DBSCAN and SVM in Wireless Sensor Networks. - Wireless Personal Communications, 2018. - Vol. 98, (2). - P. 2025-2035.
[12] Fan Z., Yin J., Song Y., Liu Z. Real-time and accurate abnormal behavior detection in videos // Machine Vision and Applications. – Germany, 2020. – Vol. 31, Is. 7-8. – P. 71-86.
[13] Касымова Д.Т., Утепбергенов И.Т., Ахмедиярова А.Т. Предварительная обработка больших данных: методы и перспективы // Матер. науч. конф. ИИВТ КН МОН РК «Инновационные IT и Smart-технологии», посв. 70-летнему юбилею профессора Утепбергенова И.Т. – Алматы, 2019. – С. 256–264, ISBN:978-601-332-288-9
[14] Лемешко Б. Ю., Лемешко С. Б., Постовалов С. Н., Чимитова Е. В. Статистический анализ данных, моделирование и исследование вероятностных закономерностей. Компьютерный подход. — Новосибирск: Изд-во НГТУ, 2011. — 888 с. — (Монографии НГТУ). — ISBN 978-5-7782-1590-0. — Раздел 4.9.
[15] Ташев А.А., Қасымова Д.Т., Ахмедиярова А.Т. Қайшылықты деректерді анықтау мен жою үшін статистикалық әдістерді салыстыру және Граббс критерийін қолдану // ҚазҰТЗУ хабаршысы. Серия «Физика-математика ғылымдары». – Алматы, 2020. - №6 (142). – С. 547–554
[16] В ЮУрГУ научили нейросети следить за транспортными потоками // https://www.susu.ru/ru/news/2021/01/07/v-nauchili-neyroseti-sledit-za-transportnymi-potokami
[17] Транспортные данные для моделирования эффективной транспортной среды в Республике Татарстан // http://crm.ics.org.ru/journal/article/3060/
Загрузки
Опубликован
Как цитировать
Выпуск
Раздел
Лицензия
Copyright (c) 2022 Динара Касымова, Азат Ташев , Айнур Ахмедиярова, Зарина Омирбекова
Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial-NoDerivatives» («Атрибуция — Некоммерческое использование — Без производных произведений») 4.0 Всемирная.
