ПРИМЕНЕНИЕ СИСТЕМЫ РАСПОЗНАВАНИЯ ЖЕСТОВ ДЛЯ ВЗАИМОДЕЙСТВИЯ С ЦИФРОВЫМИ УСТРОЙСТВАМИ И ТЕХНОЛОГИЯМИ
DOI:
https://doi.org/10.52167/1609-1817-2023-129-6-145-154Ключевые слова:
распознавание жестов, динамические жесты, человеко-компьютерный интерфейс, управление жестами, сверточная нейронная сетьАннотация
В статье рассматривается применение системы распознавания жестов рук, основанной на комбинированном использовании глубинного сенсора RealSense D435, web-камеры для захвата жеста и предварительно обученной сверточной нейронной сети с архитектурой VGG-16 для выделения признаков и классификации объектов, для взаимодействия с голосовым помощником, устройством IoT и человеко-компьютерным интерфейсом. Приведены образцы распознаваемых системой жестов и блок-схема алгоритма работы системы. Также приведена программная реализация модуля, предназначенного для взаимодействия с устройствами IoT и человеко-компьютерным интерфейсом на языке Python 3.11. Приведены примеры использования системы пользователем для взаимодействия с Yandex Alice, управления презентацией PowerPoint и для управления работой контроллера, который включает и выключает светодиод.
Библиографические ссылки
[1] Satybaldina D., Kalymova G. Deep Learning based static hand gesture recognition // Indonesian Journal of Electrical Engineering and Computer Science. – 2021. – 21. - №1. - C. 398-405.
[2] Satybaldina D., Kalymova G., Glazyrina N. Application development for hand gestures recognition with using a depth camera //Communications in Computer and Information Scence. - 2020. – Т. 1243. - C. 55–67.
[3] Satybaldina D. Zh., Glazyrina N. S., Kalymova K. A., Stepanov V. S. Development of an algorithm for abnormal human behavior detection in intelligent video surveillance system // IOP Conference Series: Materials Science and Engineering. – 2021. - 1069 (2021) 012046. - C. 1-8.
[4] Сатыбалдина Д.Ж., Глазырина Н.С., Степанов В.С., Калымова К. А. Разработка Python приложения для распознавания жестов рук из видеопотока RGB и RGBD камер // Вестник ЕНУ им. Л.Н.Гумилева, Серия Математика, информатика, механика. – 2021. - T. 136. - №3. - C. 6-17.
[5] Сатыбалдина Д.Ж., Овечкин Г.В., Калымова К.А. Cистема распознавания статических жестов рук с использованием камеры глубины //Вестник РГРТУ. – 2020. - № 72. - C. 93-105.
[6] Yan Rui R., Tee, Yuanwei K. P., Chua Y., Li H., Tang Huajin H. Gesture Recognition Based on Localist Attractor Networks with Application to Robot Control //IEEE Computational Intelligence Magazine. – 2012. - T 7. - № 1.- С. 64-74.
[7] Feng Q., Yang C., Wu X., Li Zh. A smart TV interaction system based on hand gesture recognition by using RGB-D Sensor //2013 International Conference on Mechatronic Sciences, Electric Engineering and Computer (MEC). – 2013. – С. 1-4.
[8] Jing L., Yamagishi K., Wang J., Zhou Y., Huang T., Cheng Z. A Unified Method for Multiple Home Appliances Control through Static Finger Gestures //Applications and the Internet. – 2011. - С. 82-90.
[9] Han H., Yoon S. W. Gyroscope-Based Continuous Human Hand Gesture Recognition for Multi-Modal Wearable Input Device for Human Machine Interaction //Sensors MDPI journal. – 2019. – 19(11). - С. 1-18.
[10] Osunkoya, T., Chern, J. C. Gesture-based human-computer-interaction using Kinect for Windows mouse control and Power-point presentation //Proceedings of 46th Midwest Instructionand Computing Symposium. - 2013. – С. 1-15.
Загрузки
Опубликован
Как цитировать
Выпуск
Раздел
Лицензия
Copyright (c) 2023 Наталья Глазырина, Абзал Мукатов, Кульзия Калымова
Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial-NoDerivatives» («Атрибуция — Некоммерческое использование — Без производных произведений») 4.0 Всемирная.
