Система способна распознавать 34 основных жеста, включая такие действия, как «лайк», звонок, постановка точки, выбор предмета, а также знак «rock» («козу»). Для обучения нейросети использовался масштабный корпус из более чем миллиона изображений людей разного пола, возраста и национальности. Эти данные доступны для исследователей по всему миру.
Программное обеспечение работает в несколько этапов: сначала определяет человека на изображении, затем находит его руки. Для повышения точности применяется нейросетевая модель, создающая трехмерную карту глубины, что позволяет распознавать жесты даже при сложном фоне. Точность системы превышает 99,6%.
Разработчики отмечают, что их решение может использоваться как самостоятельный интерфейс для управления цифровыми помощниками, так и в составе мультимодальных приложений, взаимодействующих с пользователем через речь, текст и эмоции. Особенно актуально это для медицины и пищевой промышленности, где критически важно соблюдать гигиену при управлении оборудованием.
Исследование выполнено при поддержке гранта РНФ, а программное обеспечение уже получило свидетельство о государственной регистрации.
