ПОДХОД К ВЫЯВЛЕНИЮ И УСТРАНЕНИЮ ПРОТИВОРЕЧИЙ В БАЗАХ БОЛЬШИХ ДАННЫХ ДЛЯ ЗАДАЧ АНАЛИТИКИ ГОРОДСКОГО ПАССАЖИРСКОГО ТРАНСПОРТА

Авторы

  • Динара Касымова Академия логистики и транспорта
  • Азат Ташев Институт информационных и вычислительных технологий КН МОН РК
  • Айнур Ахмедиярова Институт информационных и вычислительных технологий КН МОН РК
  • Зарина Омирбекова Академия логистики и транспорта
  • Ляйля Кунтунова Академия логистики и транспорта

DOI:

https://doi.org/10.52167/1609-1817-2022-121-2-605-616

Ключевые слова:

интеллектуальный город, городской пассажирский транспорт, большие данные, обнаружение и устранение противоречий в больших данных, критерий Граббса, алгоритм k-средних, машинное обучение, интеллектуальный анализ

Аннотация

Целью исследования является разработка подхода для выявления и автоматического устранения противоречий в больших данных для задач аналитики городского пассажирского транспорта. Актуальность выявления и устранения противоречий в больших данных транспортных потоков обусловлена тем фактом, что они преобразуются в значительную информацию для использования в задачах управления. Особенность предложенного подхода состоит в реализации универсального модуля двухуровневого обнаружения противоречий в выбранном наборе данных с использованием статистических методов и алгоритмов машинного обучения. Разработанный модуль «Выявление и устранение противоречий» включает три метода выявления и устранения противоречивых данных: 1) методы статистической обработки; 2) критерий Граббса; 3) алгоритмы машинного обучения: k- средних и многослойная нейронная сеть. Программная реализация системы для предложенного подхода выявления и автоматического устранения противоречий используется для решения задачи формирования расписания городских автобусных маршрутов в пилотном режиме. В статье приведены этапы и результаты численных экспериментов для выбранного набора данных в разработанной системе для предложенного подхода выявления и автоматического устранения противоречий при составлении и корректировке расписания автобусных маршрутов города Алматы.

Биографии авторов

Динара Касымова, Академия логистики и транспорта

PhD, ассистент профессор, Алматы, Казахстан, dikakassymova@gmail.com

Азат Ташев , Институт информационных и вычислительных технологий КН МОН РК

д.т.н., профессор,  Алматы, Казахстан, azattash@mail.ru

Айнур Ахмедиярова, Институт информационных и вычислительных технологий КН МОН РК

PhD, ассоциированный профессор, Алматы, Казахстан, aat.78@mail.ru

Зарина Омирбекова, Академия логистики и транспорта

магистр, ассистент преподаватель,  Алматы, Казахстан, zarinaumirbekova@gmail.com

Ляйля Кунтунова, Академия логистики и транспорта

магистр, ассистент преподаватель,  Алматы, Республика Казахстан, kuntunova75@mail.ru

 

Библиографические ссылки

[1] Объем данных информации, созданных во всем мире с 2010 по 2025 год. https://www.statista.com/statistics/871513/worldwide-data-created/

[2] Zheng X., Chen W., Wang P., Shen D., Chen S., Wang X., Yang L. Big data for social transportation // IEEE Transactions on Intelligent Transportation Systems. 17(3), 2016. - С.620-630.

[3] Oh S., Byon Y. J., Yeo H. (2016). Improvement of Search Strategy With K-Nearest Neighbors Approach for Traffic State Prediction // IEEE Transactions on Intelligent Transportation Systems, 17(4), 2016. - С.1146-1156.

[4] Shi Q., Abdel-Aty M. (2015). Big data applications in real-time traffic operation and safety monitoring and improvement on urban expressways. Transportation Research Part C: Emerging Technologies, 58, 380-394.

[5] Ahn, J., Ko, E., & Kim, E. Y. (2016). Highway traffic flow prediction using support vector regression and Bayesian classifier. In 2016 International Conference on Big Data and Smart Computing (BigComp) (pp. 239-244).

[6] Xia, D., Wang, B., Li, H., Li, Y., & Zhang, Z. (2016). A distributed spatial–temporal weighted model on MapReduce for short-term traffic flow forecasting. Neurocomputing, 179, 246-263.

[7] Мансурова М.Е.. Шоманов А.С, Тулепбергенов Б.Н., Ихсанов С.С., Дадыкина Е.А. Применение технологии MapReduce Hadoop для кластеризации больших объемов данных // Вестник КазНУ. - Алматы, 2013. - №3(78). – С. 70-82.

[8] Нурлыбаева К. К., Моделирование обработки больших объемов данных // Диссер. на соискание уч. степени доктора фил. (PhD). Алматы, 2015. – С.92.

[9] Zhu H., Xin Y., Wang F. A novel framework for anomaly detection based on hybrid HMM-SVM model // 4th IEEE Inter. Conf. on Broadband Network and Multimedia Technology. - Shenzhen, 2011. P. 670-674.

[10] Han L. Research of K-MEANS Algorithm Based on Information Entropy in Anomaly Detection // Fourth Internat. conf. on multimedia information networking and security. - Nanjing, 2012. P. 71-74.

[11] Saeedi Emadi H., Mazinani S. M. A Novel Anomaly Detection Algorithm Using DBSCAN and SVM in Wireless Sensor Networks. - Wireless Personal Communications, 2018. - Vol. 98, (2). - P. 2025-2035.

[12] Fan Z., Yin J., Song Y., Liu Z. Real-time and accurate abnormal behavior detection in videos // Machine Vision and Applications. – Germany, 2020. – Vol. 31, Is. 7-8. – P. 71-86.

[13] Касымова Д.Т., Утепбергенов И.Т., Ахмедиярова А.Т. Предварительная обработка больших данных: методы и перспективы // Матер. науч. конф. ИИВТ КН МОН РК «Инновационные IT и Smart-технологии», посв. 70-летнему юбилею профессора Утепбергенова И.Т. – Алматы, 2019. – С. 256–264, ISBN:978-601-332-288-9

[14] Лемешко Б. Ю., Лемешко С. Б., Постовалов С. Н., Чимитова Е. В. Статистический анализ данных, моделирование и исследование вероятностных закономерностей. Компьютерный подход. — Новосибирск: Изд-во НГТУ, 2011. — 888 с. — (Монографии НГТУ). — ISBN 978-5-7782-1590-0. — Раздел 4.9.

[15] Ташев А.А., Қасымова Д.Т., Ахмедиярова А.Т. Қайшылықты деректерді анықтау мен жою үшін статистикалық әдістерді салыстыру және Граббс критерийін қолдану // ҚазҰТЗУ хабаршысы. Серия «Физика-математика ғылымдары». – Алматы, 2020. - №6 (142). – С. 547–554

[16] В ЮУрГУ научили нейросети следить за транспортными потоками // https://www.susu.ru/ru/news/2021/01/07/v-nauchili-neyroseti-sledit-za-transportnymi-potokami

[17] Транспортные данные для моделирования эффективной транспортной среды в Республике Татарстан // http://crm.ics.org.ru/journal/article/3060/

Загрузки

Опубликован

25.06.2022

Как цитировать

Касымова, Д., Ташев , А., Ахмедиярова, А., Омирбекова, З., & Кунтунова, Л. (2022). ПОДХОД К ВЫЯВЛЕНИЮ И УСТРАНЕНИЮ ПРОТИВОРЕЧИЙ В БАЗАХ БОЛЬШИХ ДАННЫХ ДЛЯ ЗАДАЧ АНАЛИТИКИ ГОРОДСКОГО ПАССАЖИРСКОГО ТРАНСПОРТА. Вестник КазАТК, 121(2), 605–616. https://doi.org/10.52167/1609-1817-2022-121-2-605-616

Выпуск

Раздел

Автоматика, телемеханика, связь, энергетика, информационные системы

Наиболее читаемые статьи этого автора (авторов)