ИССЛЕДОВАНИЕ И РАЗРАБОТКА СИСТЕМЫ РАСПОЗНАВАНИЯ И ПЕРЕВОДА ЯЗЫКА ЖЕСТОВ В РЕЖИМЕ РЕАЛЬНОГО ВРЕМЕНИ

Аннотация

Язык жестов — это важный инструмент общения для людей с нарушениями слуха. Благодаря развитию технологий появилась возможность разрабатывать системы, которые могут распознавать, переводить и обрабатывать язык жестов в текст или речь в соответствии с визуальным представлением жестов. В данной статье рассматривается разработка системы распознавания языка жестов в режиме реального времени с использованием нейросетевого алгоритма. Целью исследования является разработка такой системы распознавания и перевода языка жестов, которая должна быть оптимизирована для интеграции в веб-приложения. Для определения ключевых точек и ориентации рук и пальцев пользователя была использована библиотека Mediapipe. После этого программный модуль передает собранные данные в последовательную нейронную сеть, включающую слои долговременной памяти (LSTM). Для построения нейронной сети такого типа использовалась открытая библиотека Keras. Ключевой особенностью представленной нейросетевой модели является сочетание и взаимодействие конволюционных и рекуррентных слоев нейронной сети (RNN). Рассмотренный набор слоев обеспечивает возможность отслеживать зависимость данных от времени, что достигается за счет переключения между слоями разных типов и уменьшения количества нейронов. Обучение LSTM-сети проводится с использованием пользовательского редактируемого набора данных, основанного на жестах американского языка жестов. Набор данных был сформирован на основе записи жестов. Каждое представление жестов было предварительно обработано для извлечения трехмерных ориентиров. Эти собранные ключевые точки передавались на слои нейронной сети LSTM, что позволяло модели изучать сложные взаимосвязи между движениями рук и соответствующими жестами. Каждый образец знака представлен последовательностью из 24 кадров. Эффективность нейросетевого алгоритма оценивается с помощью различных показателей, в том числе точности модели. Результаты эксперимента показывают, что разработанное программное обеспечение позволяет достичь высокого уровня точности при распознавании жестов жестового языка. Актуальность данного исследования подтверждается возможностью его применения в широком спектре областей. В частности, программное обеспечение потенциально может быть использовано в качестве сервиса или инструмента для общения между людьми с ограниченными возможностями и широкой общественностью, а также в качестве технологии, помогающей людям с нарушениями слуха. Авторы исследования отмечают, что результаты проделанной работы демонстрируют возможность и эффективность использования нейросетевого алгоритма, включая слои LSTM, при разработке нейросетевого алгоритма для распознавания языка жестов.