ИССЛЕДОВАНИЕ МУЛЬТИМОДАЛЬНЫХ НЕЙРОСЕТЕЙ ДЛЯ РОБОТОВ В РЕАЛЬНОМ ВРЕМЕНИ
DOI:
https://doi.org/10.52167/1609-1817-2024-135-6-331-340Ключевые слова:
БПЛА, робот, дрон, тепловизионная камера, робототехника, машинное обучение, ЛидарАннотация
Исследование направлено на разработку мультимодальной нейронной сети для улучшения точности обнаружения препятствий путём комбинирования тепловизионных данных с информацией, полученной от других типов датчиков, таких как лидары (системы лазерного дальномера) и ультразвуковые датчики. В контексте автономных систем, таких как роботы и беспилотные летательные аппараты (дроны), эффективное слияние данных с различных датчиков является ключевым аспектом для обеспечения безопасного обхода препятствий и навигации в сложных условиях окружающей среды. Особое внимание уделяется тепловизионной камере как источнику, который предоставляет ценную информацию о температурных характеристиках объекта, что может быть особенно полезно в условиях низкой видимости или ночью. Однако тепловизионные данные могут быть ограничены в отношении точности определения формы и расстояния до объектов. В свою очередь, лидары и ультразвуковые датчики предлагают высокую точность в измерении расстояний и формы объектов, но могут сталкиваться с ограничениями при определении температурных свойств. Результатом является значительное повышение точности обнаружения препятствий и улучшение способности системы к самостоятельной навигации и принятию решений в реальном времени.
Библиографические ссылки
[1] Lenz, I., Lee, H., & Saxena, A. (2015). Deep Learning for Detecting Robotic Grasps. International Journal of Robotics Research, 34(4-5), 705–724.
[2] Di, G., Sun, F., Liu, H., Kong, T., Fang, B., & Xi, N. (2017). A Hybrid Deep Architecture for Robotic Grasp Detection. Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), 1609–1614.
[3] Wang, S., Zhou, Z., & Kan, Z. (2022). When Transformer Meets Robotic Grasping: Exploits Context for Efficient Grasp Detection. IEEE Robotics and Automation Letters, 7(3), 8170–8177.
[4] Zhou, Z., Wang, S., Chen, Z., Cai, M., Wang, H., Li, Z., & Kan, Z. (2023). Local Observation Based Reactive Temporal Logic Planning of Human-Robot Systems. IEEE Transactions on Automation Science and Engineering.
[5] Wang, S., Zhou, Z., Wang, H., Li, Z., & Kan, Z. (2022). Unsupervised Representation Learning for Visual Robotics Grasping. International Conference on Advanced Robotics and Mechatronics (ICARM), 57–62.
[6] Chen, K., Wang, S., Xia, B., Li, D., Kan, Z., & Li, B. (2023). Tode-Trans: Transparent Object Depth Estimation with Transformer. IEEE International Conference on Robotics and Automation (ICRA), 4880–4886.
[7] Wang, S., Zhang, W., Zhou, Z., Cao, J., Chen, Z., Chen, K., Li, B., & Kan, Z. (2022). What You See Is What You Grasp: User-Friendly Grasping Guided by Near-Eye-Tracking. arXiv:2209.06122.
[8] Cai, S., & Colleagues (2023). Dynamic and Real-Time Object Detection Based on Deep Learning for Home Service Robots. Sensors, 23(23), 9482. https://www.mdpi.com/1424-8220/23/23/9482.
[9] Schneider, N., Piewak, F., Stiller, C., & Franke, U. (2017). RegNet: Multimodal Sensor Registration Using Deep Neural Networks. https://paperswithcode.com/paper/regnet-multimodal-sensor-registration-using.
[10] Raducanu, B., Costache, E., & Breazu, C. (2018). Real-Time Multimodal Emotion Recognition Using Deep Learning on a Raspberry Pi 3. In 2018 International Conference on Robotics and Automation (ICRA) (pp. 1-6). IEEE.
Загрузки
Опубликован
Как цитировать
Выпуск
Раздел
Лицензия
Copyright (c) 2024 Максим Рюмин, Ольга Салыкова, Ирина Иванова, Денис Комаров, Гульшат Махамбетова

Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial-NoDerivatives» («Атрибуция — Некоммерческое использование — Без производных произведений») 4.0 Всемирная.