ИССЛЕДОВАНИЕ ОБНАРУЖЕНИЯ ЧРЕЗВЫЧАЙНЫХ СИТУАЦИЙ НА ОСНОВЕ АУДИОСИГНАЛОВ
DOI:
https://doi.org/10.52167/1609-1817-2024-135-6-103-113Ключевые слова:
аудиосигналы, обработка аудиосигналов, глубокое обучение, аудиоклассификация, чрезвычайные события, CNN-BiLSTMАннотация
В работе предложена методика построения модели CNN-BiLSTM для обнаружения чрезвычайных событий социального характера. Для обучения модели была создана датасет, собранная из 10 000 аудиоданных. Датасет включает восемь классов чрезвычайных событий социального характера: плач, крик, взрыв, звуки оружия, огонь, сирены, лай собаки, разбитое окно. Произведена предварительная обработка (preprocessing) аудиосигналов. Аудиосигналы были преобразованы в одномерные данные. Затем из этих аудиосигналов были извлечены призанки (features) хромаграмма, спектральный контраст, MFCC, MFC, Tonal centroid и использованы для обучения модели. Оптимальные гиперпараметры были выбраны для обучения модели CNN-BiLSTM. Созданная гибридная модель CNN-BiLSTM была протестирована и оценена по метрикам accuracy, precision, recall, F1-score. По полученным результатам наивысшая точность составила 95%, а самая низкая точность 83%. Предлагаемая гибридная модель CNN-BiLSTM, используемая для обнаружения и передачи сообщений о чрезвычайных ситуациях социального характера по восьми классам на основе аудиосигналов в общественных местах, инфраструктурах с высокой концентрацией населения. А предлагаемую датасет и методологию обучения модели можно использовать для создания модели глубокого обучения для обнаружения чрезвычайных событий.
Библиографические ссылки
[1] Dewi, I.D.A.D.P., & Kyranides, M. N. (2021). Physical, Verbal, and Relational Aggression: The Role of Anger Management Strategies. Journal of Aggression, Maltreatment & Trauma, 31(1), 65–82. https://doi.org/10.1080/10926771.2021.1994495
[2] Audible Crime Scenes: ShotSpotter as Diagnostic, Policing, and Space-making Infrastructure. https://journals.sagepub.com/doi/abs/10.1177/01622439221143217. 02.02.2023.
[3] Audioanalytic. https://www.audioanalytic.com/about/index.html. 02.02.2023.
[4] Salamon J., Jacoby C., Bello J. P. UrbanSound8K dataset // Urban Sound Datasets. Retrieved from: https://urbansounddataset. weebly. com/urbansound8k. html. 10.02.2023.
[5] DCASE 2024 Challenge. https://dcase.community/challenge2024/
[6] Y. Hou, B. Kang, W. Van Hauwermeiren and D. Botteldooren, "Relation-guided acoustic scene classification aided with event embeddings,"2022 International Joint Conference on Neural Networks (IJCNN), Padua, Italy, 2022, pp. 1-8, doi: 10.1109/IJCNN55064.2022.9892893.
[7] Gaviria, J.F.; Escalante-Perez, A.; Castiblanco, J.C.; Vergara, N.; Parra-Garces, V.; Serrano, J.D.; Zambrano, A.F.; Giraldo, L.F. Deep Learning-Based Portable Device for Audio Distress Signal Recognition in Urban Areas. Appl. Sci. 2020, 10, 7448. https://doi.org/10.3390/app10217448
[8] Foggia, P.; Petkov, N.; Saggese, A.; Strisciuglio, N.; Vento, M. Reliable detection of audio events in highly noisy environments. Pattern Recognit. Lett. 2015, 65, 22–28.
[9] K. Guirguis, C. Schorn, A. Guntoro, S. Abdulatif and B. Yang, "SELD-TCN: Sound Event Localization & Detection via Temporal Convolutional Networks,"2020 28th European Signal Processing Conference (EUSIPCO), Amsterdam, Netherlands, 2021, pp. 16-20, doi: 10.23919/Eusipco47968.2020.9287716.
[10] Pham P. et al. Eventness: Object detection on spectrograms for temporal localization of audio events //2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). – IEEE, 2018. – С. 2491-2495.
[11] Lostanlen V. et al. Robust sound event detection in bioacoustic sensor networks //PloS one. – 2019. – Т. 14. – №. 10. – С. e0214168.
[12] Papadimitriou I. et al. Audio-based event detection at different SNR settings using two-dimensional spectrogram magnitude representations //Electronics. – 2020. – Т. 9. – №. 10. – С. 1593.
[13] Mnasri Z., Rovetta S., Masulli F. Anomalous sound event detection: A survey of machine learning based methods and applications //Multimedia Tools and Applications. – 2022. – Т. 81. – №. 4. – С. 5537-5586.
[14] Khan M. S. et al. Improved Multi-Model Classification Technique for Sound Event Detection in Urban Environments //Applied Sciences. – 2022. – Т. 12. – №. 19. – С. 9907.
[15] Zhang X. et al. Acoustic traffic event detection in long tunnels using fast binary spectral features //Circuits, Systems, and Signal Processing. – 2020. – Т. 39. – №. 6. – С. 2994-3006.
[16] Sharma G., Umapathy K., Krishnan S. Trends in audio signal feature extraction methods //Applied Acoustics. – 2020. – Т. 158. – С. 107020. doi.org/10.1016/j.apacoust.2019.107020
[17] Sen A. et al. Live event detection for people’s safety using NLP and deep learning //IEEE Access. – 2024.
[18] Asiya et al. Automatic Multiple Sounds Detection with Recurrent Neural Networks (LSTM) //International Conference on Advances in Data-driven Computing and Intelligent Systems. – Singapore: Springer Nature Singapore, 2023. – С. 447-456.
[19] Das S. et al. Analysis of Different Machine and Deep Learning Algorithms for Audio Classification //2023 First International Conference on Advances in Electrical, Electronics and Computational Intelligence (ICAEECI). – IEEE, 2023. – С. 1-7.
[20] Zaman K. et al. A survey of audio classification using deep learning //IEEE Access. – 2023.
[21] A. Sen et al., "Live Event Detection for People’s Safety Using NLP and Deep Learning," in IEEE Access, vol. 12, pp. 6455-6472, 2024, doi: 10.1109/ACCESS.2023.3349097.
[22] Kim, Jinwoo, et al. "Occupant behavior monitoring and emergency event detection in single-person households using deep learning-based sound recognition." Building and Environment 181 (2020): 107092.
[23] Kim N.K., Jeon K.M., Kim H.K. Convolutional Recurrent Neural Network-Based Event Detection in Tunnels Using Multiple Microphones // Sensors. – 2019. –Vol.19, 2695. DOI: 10.3390/s19122695
[24] Kabir M., Mir J., Rascon C., Shahid M., Shaukat F. Machine learning inspired efficient acoustic gunshot detection and localization system // University of Wah Journal of Computer Science. – 2022. – Vol.4, №1. – P. 1–11.
[25] Sigmund M., Hrabina M. Efficient feature set developed for acoustic gunshot detection in open space // Elektronika Ir Elektrotechnika. – 2021. – Vol.27, №4. – P. 62–68.
[26] Gupta N., Deshpande P., Diaz J., Jangam S., Shirke A. F-alert: Early fire detection using machine learning techniques // International Journal of Electronics Engineering and Applications. – 2021. - Vol. 9, №3. – P. 34–43.
[27] Досбаев Ж.М., Омаров Б.С., Садықова Б.М., Смайлов Н.Қ. Машиналық оқыту әдістерін қолдана отырып дыбысты жіктеу. АЭжБУ хабаршысы. – 2022. Т. 2. – №. 57. – 70-81 б. https://doi.org/10.51775/2790-0886_2022_57_2_70
[28] Tripathi A. M., Mishra A. Adv-ESC: Adversarial attack datasets for an environmental sound classification //Applied Acoustics. – 2022. – Т. 185. – С. 108437.
Загрузки
Опубликован
Как цитировать
Выпуск
Раздел
Лицензия
Copyright (c) 2024 Жандос Досбаев, Ерлан Таштай, Бибігүл Садықова, Нұржігіт Смайлов, Майгүл Жекамбаева
Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial-NoDerivatives» («Атрибуция — Некоммерческое использование — Без производных произведений») 4.0 Всемирная.
