Сингапурская робототехническая компания Sharpa заявила о прорыве, приближающем машины к уровню ловкости человека. Представленный ею робот способен автономно чистить яблоко, используя две человекоподобные руки — задача, которая требует точной координации, контроля силы и постоянной корректировки положения. В основе разработки лежит новая система MoDE-VLA, объединяющая зрение, речь, осязание и датчики силы. Вместо того чтобы контролировать каждое движение, человек задает высокоуровневые цели, а искусственный интеллект берет на себя координацию, что, по мнению разработчиков, является важным шагом к безопасной работе роботов в домах и на рабочих местах.

Система состоит из двух ключевых компонентов. IMCopilot — это набор микронавыков, обученных с помощью обучения с подкреплением, которые берут на себя сложные движения пальцев, такие как вращение яблока. MoDE-VLA, в свою очередь, обрабатывает разнородные сенсорные данные по специализированным каналам: сигналы зрения, силы и тактильные сигналы поступают в разные модули, что позволяет роботу реагировать в реальном времени с высокой точностью. В тестах система продемонстрировала 73-процентный показатель успешного завершения очистки яблока, а в задачах, требующих миллиметровой точности, таких как подключение зарядного устройства, существенно превзошла модели, полагающиеся только на зрение.

В декабре компания запустила в серийное производство флагманскую руку SharpaWave с 22 активными степенями свободы, которая сочетает шестистепенное измерение силы с тактильной обратной связью от всех десяти пальцев. Это позволяет роботу обнаруживать тонкие сигналы взаимодействия — скольжение или сопротивление — и адаптироваться к ним. Как отметили разработчики, делегируя сложные высокочастотные движения специализированным «вторым пилотам» и используя экспертные модули для интерпретации тактильных ощущений, они прокладывают путь к роботам, способным выполнять сложные бытовые задачи и промышленную сборку с ловкостью, сравнимой с человеческой.