ИССЛЕДОВАНИЕ МУЛЬТИМОДАЛЬНЫХ НЕЙРОСЕТЕЙ ДЛЯ РОБОТОВ В РЕАЛЬНОМ ВРЕМЕНИ

Авторы

  • Максим Рюмин Костанайский региональный университет имени Ахмет Байтұрсынұлы https://orcid.org/0009-0003-2113-530X
  • Ольга Салыкова Костанайский региональный университет имени Ахмет Байтұрсынұлы https://orcid.org/0000-0002-8681-4552
  • Ирина Иванова Костанайский региональный университет имени Ахмет Байтұрсынұлы https://orcid.org/0000-0002-4675-3628
  • Денис Комаров Костанайский региональный университет имени Ахмет Байтұрсынұлы https://orcid.org/0000-0001-5347-7206
  • Гульшат Махамбетова Костанайский региональный университет имени Ахмет Байтұрсынұлы https://orcid.org/0009-0003-2608-3406

DOI:

https://doi.org/10.52167/1609-1817-2024-135-6-331-340

Ключевые слова:

БПЛА, робот, дрон, тепловизионная камера, робототехника, машинное обучение, Лидар

Аннотация

Исследование направлено на разработку мультимодальной нейронной сети для улучшения точности обнаружения препятствий путём комбинирования тепловизионных данных с информацией, полученной от других типов датчиков, таких как лидары (системы лазерного дальномера) и ультразвуковые датчики. В контексте автономных систем, таких как роботы и беспилотные летательные аппараты (дроны), эффективное слияние данных с различных датчиков является ключевым аспектом для обеспечения безопасного обхода препятствий и навигации в сложных условиях окружающей среды. Особое внимание уделяется тепловизионной камере как источнику, который предоставляет ценную информацию о температурных характеристиках объекта, что может быть особенно полезно в условиях низкой видимости или ночью. Однако тепловизионные данные могут быть ограничены в отношении точности определения формы и расстояния до объектов. В свою очередь, лидары и ультразвуковые датчики предлагают высокую точность в измерении расстояний и формы объектов, но могут сталкиваться с ограничениями при определении температурных свойств. Результатом является значительное повышение точности обнаружения препятствий и улучшение способности системы к самостоятельной навигации и принятию решений в реальном времени.

Биографии авторов

Максим Рюмин, Костанайский региональный университет имени Ахмет Байтұрсынұлы

магистрант, Костанай, Қазақстан, rymin_maxim@mail.ru

Ольга Салыкова, Костанайский региональный университет имени Ахмет Байтұрсынұлы

к.т.н., ассоциированный профессор, Костанай, Казахстан, solga0603@mail.ru

Ирина Иванова, Костанайский региональный университет имени Ахмет Байтұрсынұлы

к.п.н., ассоциированный профессор, Костанай, Казахстан, valera_irina_69@mail.ru

Денис Комаров, Костанайский региональный университет имени Ахмет Байтұрсынұлы

докторант, Костанай, Казахстан, kdnkdn@list.ru

Гульшат Махамбетова, Костанайский региональный университет имени Ахмет Байтұрсынұлы

магистр, старший преподаватель, Костанай, Казахстан, gulshatb79@mail.ru

Библиографические ссылки

[1] Lenz, I., Lee, H., & Saxena, A. (2015). Deep Learning for Detecting Robotic Grasps. International Journal of Robotics Research, 34(4-5), 705–724.

[2] Di, G., Sun, F., Liu, H., Kong, T., Fang, B., & Xi, N. (2017). A Hybrid Deep Architecture for Robotic Grasp Detection. Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), 1609–1614.

[3] Wang, S., Zhou, Z., & Kan, Z. (2022). When Transformer Meets Robotic Grasping: Exploits Context for Efficient Grasp Detection. IEEE Robotics and Automation Letters, 7(3), 8170–8177.

[4] Zhou, Z., Wang, S., Chen, Z., Cai, M., Wang, H., Li, Z., & Kan, Z. (2023). Local Observation Based Reactive Temporal Logic Planning of Human-Robot Systems. IEEE Transactions on Automation Science and Engineering.

[5] Wang, S., Zhou, Z., Wang, H., Li, Z., & Kan, Z. (2022). Unsupervised Representation Learning for Visual Robotics Grasping. International Conference on Advanced Robotics and Mechatronics (ICARM), 57–62.

[6] Chen, K., Wang, S., Xia, B., Li, D., Kan, Z., & Li, B. (2023). Tode-Trans: Transparent Object Depth Estimation with Transformer. IEEE International Conference on Robotics and Automation (ICRA), 4880–4886.

[7] Wang, S., Zhang, W., Zhou, Z., Cao, J., Chen, Z., Chen, K., Li, B., & Kan, Z. (2022). What You See Is What You Grasp: User-Friendly Grasping Guided by Near-Eye-Tracking. arXiv:2209.06122.

[8] Cai, S., & Colleagues (2023). Dynamic and Real-Time Object Detection Based on Deep Learning for Home Service Robots. Sensors, 23(23), 9482. https://www.mdpi.com/1424-8220/23/23/9482.

[9] Schneider, N., Piewak, F., Stiller, C., & Franke, U. (2017). RegNet: Multimodal Sensor Registration Using Deep Neural Networks. https://paperswithcode.com/paper/regnet-multimodal-sensor-registration-using.

[10] Raducanu, B., Costache, E., & Breazu, C. (2018). Real-Time Multimodal Emotion Recognition Using Deep Learning on a Raspberry Pi 3. In 2018 International Conference on Robotics and Automation (ICRA) (pp. 1-6). IEEE.

Загрузки

Опубликован

15.09.2024

Как цитировать

Рюмин, М., Салыкова, О., Иванова, И., Комаров, Д., & Махамбетова, Г. (2024). ИССЛЕДОВАНИЕ МУЛЬТИМОДАЛЬНЫХ НЕЙРОСЕТЕЙ ДЛЯ РОБОТОВ В РЕАЛЬНОМ ВРЕМЕНИ. Вестник КазАТК, 135(6), 331–340. https://doi.org/10.52167/1609-1817-2024-135-6-331-340

Выпуск

Раздел

Автоматизация, телемеханика, связь, компьютерные науки