Нейроморфный процессор и отслеживание взгляда помогли повысить точность управления протезом руки
Исследователи из Института ИИ МГУ и Сколковского института науки и технологий создали систему управления протезом руки, сочетающую сигналы мышц и направление взгляда человека. В основе — нейроморфный процессор AltAi, который превращает мышечную активность в жесты с очень низким энергопотреблением. Используя данные о том, на какой объект смотрит пользователь, система автоматически ограничивает набор возможных хватов, повысив точность управления до примерно 95% и снизив риск ошибок.
Современные протезы кисти поддерживают десятки типов захватов, но управлять ими сложно: миоэлектрические интерфейсы дают неоднозначные сигналы, а распознавание жестов требует энергозатратных процессоров. Новая архитектура объединяет поверхностную электромиографию, данные отслеживания взгляда и компьютерное зрение: камера определяет объект, для которого система выбирает несколько подходящих хватов, а мышечные сигналы задают конкретное движение.
Без визуального контекста точность распознавания шести жестов составляет около 83%, с учётом объекта — до 95%. При этом нейроморфный процессор AltAi работает с энергопотреблением всего около 0,07 Вт — в сотни раз меньше, чем графический процессор. Это позволяет уменьшить массу электроники и батареи, сделать протез удобнее и уменьшить утомляемость пользователя.
«Технологии бионических протезов в настоящее время активно развиваются, и в идеале такие протезы должны восполнять все физиологические функции: моторный контроль, чувствительность, способность распознавать форму объектов и схватывать их надлежащим образом. Разработанная система реализует зрительно-моторную трансформацию — нейрофизиологическую функцию, которой мы пользуемся ежедневно, например, направляя взгляд на чашку кофе, а затем поднимая ее рукой. Такую трансформацию осуществляют технологии отслеживания движений глаз, компьютерного зрения и регистрации электрической активности мышц. А анализ информации выполняет нейроморфная сеть, имеющая низкое энергопотребление. Если в данной работе фокус на протезировании, то в будущем применения будут расширены и включат гибридные робототехнические устройства, в которых часть работы выполняет автоматика, а часть — человек».
– прокомментировал Михаил Лебедев, научный руководитель проекта «Фундаментальные и прикладные нейротехнологии» МГУ.
Подробнее о результатах исследования в статье https://arxiv.org/abs/2601.17991, которая представлена в рамках международной конференции по взаимодействию человека и робота 16–19 марта 2026 года в Эдинбурге.
Работа выполнена при сотрудничестве с протезной компанией MaxBionic, компанией-производителем нейроморфных чипов Мотив и Kaspersky.
