Просто собирать данные о манипуляциях недостаточно для роботов - им нужно уметь перемещаться по миру, что представляет собой совершенно другой набор задач по сравнению с чистыми манипуляциями. А объединение навигации и манипуляции в одной системе еще более сложно. Представляем HERMES от @fancy_yzc и @still_wtm. Это четырехступенчатый процесс, в котором используются человеческие видео для настройки RL симуляции в реальном времени, чтобы преодолеть различия между кинематикой робота и человека, и используется вместе с моделью навигации для перемещения в различных средах. Чтобы узнать больше, присоединяйтесь к нам, когда @fancy_yzc и @still_wtm расскажут, как они создали свою систему для выполнения мобильной ловкой манипуляции на основе человеческих видео в различных средах. Смотрите эпизод #45 RoboPapers сегодня, ведущие @micoolcho и @chris_j_paxton!