Международная команда исследователей представила новую систему Retrieval-Augmented Manipulation (RAM), которая позволяет роботам не только понимать пространственные команды, но и гибко адаптироваться к реальным условиям. В отличие от традиционных моделей, RAM объединяет семантическое (смысловое) восприятие и трехмерное представление объектов, что позволяет роботу «видеть» мир как набор физических тел с размерами, формами и взаимным расположением.
Система анализирует изображение с камер робота, строит 3D-модель окружения и на ее основе разбивает сложную задачу на последовательность выполнимых подзадач. Даже если какое-то действие невозможно из-за столкновения или ограничений по размеру, робот способен перепланировать свои шаги и найти альтернативное решение.
Испытания на реальном роботе показали: система справляется с задачами, для которых не проходила специального обучения, и устойчива к новым объектам и ситуациям. По мнению авторов, RAM – это важный шаг к созданию универсальных, интеллектуальных роботов, способных работать в быту, на производстве и в сфере услуг, точно выполняя инструкции человека и адаптируясь к динамичной среде.
