Ученые Новосибирского государственного технического университета НЭТИ завершают разработку системы распознавания русского жестового языка. Система распознает жесты при помощи камер, а нейросеть переводит их в текст или голос. 

«Мы внесли в программу 1 006 жестов, если быть точными. Также разработали алгоритм для распознавания жестов, теперь можно выделять компоненты жеста, конфигурацию и ориентацию ладони, локализацию жеста, а также характер движения. В России подобной системы раньше не было, это первая в мире разработка. Сделали программное обеспечение распознавания жестов и их компонент, точность которого составляет до 90 %. Сейчас мы работаем над улучшением этого показателя», — рассказал профессор кафедры автоматизированных систем управления Новосибирского государственного технического университета Михаил Гриф. 

Сейчас продолжается разработка программы распознавания русской дактильной азбуки — вспомогательной системы жестового языка, в которой каждому жесту одной руки соответствует буква русского языка. Точность распознавания составляет 92 %. 

«Мы также вели работу над выделением эпентезы (межжестовое движение). Сейчас точность выделения жестов в видеопотоке составляет 85—90 %. Пока эта работа ведется в формате эксперимента. У нас было 350 предложений, которые были записаны на камеру. Мы их размечали, выделяли жесты, промежуточные движения и обучали на них нейронную сеть. Теперь нейросеть может сама определять, где начало жеста, а где завершение. Кроме того, мы занимаемся разработкой биологически подобных нейронных сетей, которые работают аналогично человеку, зрительно воспринимающему жестовый язык», — добавил Михаил Гриф. 

Сейчас ученые вуза сосредоточены на разработке компьютерного переводчика для русского жестового языка, а в дальнейшем и для других жестовых языков мира. 

Всего в мире насчитывается около 130 жестовых языков, в каждом из которых 3—5 тысяч жестов. По данным Всероссийского общества глухих, численность носителей жестового языка в России превышает 300 тысяч человек.

Источник: Habr

Подписаться
Уведомить о
guest
0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии

Похожие записи: