Точность распознавания движений достигает 90%. Создать первую в мире подобную систему смогли ученые из Новосибирска. Программа работает с помощью камер и нейронных сетей. В нее внесены 1006 жестов, пишет «Научная Россия».

Для обучения нейросети использованы 350 жестовых предложений, записанных на камеры. Система распознаёт картинку и фиксирует движения, которые затем превращает в изображения. Далее они переводятся в модели, сопоставляются с данными в нейронной сети и преобразуются в текст или голос. В результате обучения ИИ смог определять межжестовые движения, начало и конец жеста.

По словам профессора кафедры автоматизированных систем управления НЭТИ Михаила Грифа, сейчас учёные продолжают дорабатывать программу распознавания дактиля — вспомогательной системы русского жестового языка, где каждому жесту соответствует буква. Сложность компьютеризации перевода в том, что он зависит не только от движения рук, но и от выражения лица, движения губ и других знаков артикуляции. В дальнейшем учёные хотят расширить работу переводчика и адаптировать его под другие жестовые языки мира. Их насчитывается около 130.

Фото Новосибирского государственного технического университета НЭТИ