ПРИМЕНЕНИЕ СИСТЕМЫ РАСПОЗНАВАНИЯ ЖЕСТОВ ДЛЯ ВЗАИМОДЕЙСТВИЯ С ЦИФРОВЫМИ УСТРОЙСТВАМИ И ТЕХНОЛОГИЯМИ

Авторы

  • Наталья Глазырина Евразийский национальный университет имени Л.Н. Гумилева
  • Абзал Мукатов Евразийский национальный университет имени Л.Н. Гумилева
  • Кульзия Калымова Казахский национальный женский педагогический университет

DOI:

https://doi.org/10.52167/1609-1817-2023-129-6-145-154

Ключевые слова:

распознавание жестов, динамические жесты, человеко-компьютерный интерфейс, управление жестами, сверточная нейронная сеть

Аннотация

В статье рассматривается применение системы распознавания жестов рук, основанной на комбинированном использовании глубинного сенсора RealSense D435, web-камеры для захвата жеста и предварительно обученной сверточной нейронной сети с архитектурой VGG-16 для выделения признаков и классификации объектов, для взаимодействия с голосовым помощником, устройством IoT и человеко-компьютерным интерфейсом. Приведены образцы распознаваемых системой жестов и блок-схема алгоритма работы системы. Также приведена программная реализация модуля, предназначенного для взаимодействия с устройствами IoT и человеко-компьютерным интерфейсом на языке Python 3.11. Приведены примеры использования системы пользователем для взаимодействия с Yandex Alice, управления презентацией PowerPoint и для управления работой контроллера, который включает и выключает светодиод.

Биографии авторов

Наталья Глазырина, Евразийский национальный университет имени Л.Н. Гумилева

PhD, доцент, Астана, Казахстан, glazyrina_ns_1@enu.kz

Абзал Мукатов, Евразийский национальный университет имени Л.Н. Гумилева

студент, Астана, Казахстан, abzal_mukatov@mail.ru

Кульзия Калымова, Казахский национальный женский педагогический университет

магистр, старший преподаватель, Алматы, Казахстан, kalymova.k@qyzpu.edu.kz

Библиографические ссылки

[1] Satybaldina D., Kalymova G. Deep Learning based static hand gesture recognition // Indonesian Journal of Electrical Engineering and Computer Science. – 2021. – 21. - №1. - C. 398-405.

[2] Satybaldina D., Kalymova G., Glazyrina N. Application development for hand gestures recognition with using a depth camera //Communications in Computer and Information Scence. - 2020. – Т. 1243. - C. 55–67.

[3] Satybaldina D. Zh., Glazyrina N. S., Kalymova K. A., Stepanov V. S. Development of an algorithm for abnormal human behavior detection in intelligent video surveillance system // IOP Conference Series: Materials Science and Engineering. – 2021. - 1069 (2021) 012046. - C. 1-8.

[4] Сатыбалдина Д.Ж., Глазырина Н.С., Степанов В.С., Калымова К. А. Разработка Python приложения для распознавания жестов рук из видеопотока RGB и RGBD камер // Вестник ЕНУ им. Л.Н.Гумилева, Серия Математика, информатика, механика. – 2021. - T. 136. - №3. - C. 6-17.

[5] Сатыбалдина Д.Ж., Овечкин Г.В., Калымова К.А. Cистема распознавания статических жестов рук с использованием камеры глубины //Вестник РГРТУ. – 2020. - № 72. - C. 93-105.

[6] Yan Rui R., Tee, Yuanwei K. P., Chua Y., Li H., Tang Huajin H. Gesture Recognition Based on Localist Attractor Networks with Application to Robot Control //IEEE Computational Intelligence Magazine. – 2012. - T 7. - № 1.- С. 64-74.

[7] Feng Q., Yang C., Wu X., Li Zh. A smart TV interaction system based on hand gesture recognition by using RGB-D Sensor //2013 International Conference on Mechatronic Sciences, Electric Engineering and Computer (MEC). – 2013. – С. 1-4.

[8] Jing L., Yamagishi K., Wang J., Zhou Y., Huang T., Cheng Z. A Unified Method for Multiple Home Appliances Control through Static Finger Gestures //Applications and the Internet. – 2011. - С. 82-90.

[9] Han H., Yoon S. W. Gyroscope-Based Continuous Human Hand Gesture Recognition for Multi-Modal Wearable Input Device for Human Machine Interaction //Sensors MDPI journal. – 2019. – 19(11). - С. 1-18.

[10] Osunkoya, T., Chern, J. C. Gesture-based human-computer-interaction using Kinect for Windows mouse control and Power-point presentation //Proceedings of 46th Midwest Instructionand Computing Symposium. - 2013. – С. 1-15.

Загрузки

Опубликован

22.12.2023

Как цитировать

Глазырина, Н., Мукатов, . А. ., & Калымова, . К. . (2023). ПРИМЕНЕНИЕ СИСТЕМЫ РАСПОЗНАВАНИЯ ЖЕСТОВ ДЛЯ ВЗАИМОДЕЙСТВИЯ С ЦИФРОВЫМИ УСТРОЙСТВАМИ И ТЕХНОЛОГИЯМИ. Вестник КазАТК, 129(6), 145–154. https://doi.org/10.52167/1609-1817-2023-129-6-145-154

Выпуск

Раздел

Автоматизация, телемеханика, связь, компьютерные науки