Il ne suffit pas de collecter des données de manipulation pour les robots - ils doivent être capables de se déplacer dans le monde, ce qui présente un tout autre ensemble de défis par rapport à la manipulation pure. Et rassembler la navigation et la manipulation dans un cadre unique est encore plus difficile. Entrez HERMES, de @fancy_yzc et @still_wtm. C'est un processus en quatre étapes dans lequel des vidéos humaines sont utilisées pour mettre en place un pipeline d'entraînement RL sim-to-real afin de surmonter les différences entre la cinématique des robots et celle des humains, et utilisé avec un modèle de fondation de navigation pour se déplacer dans une variété d'environnements. Pour en savoir plus, rejoignez-nous alors que @fancy_yzc et @still_wtm nous expliquent comment ils ont construit leur système pour effectuer une manipulation mobile et habile à partir de vidéos humaines dans une variété d'environnements. Regardez l'épisode #45 de RoboPapers aujourd'hui, animé par @micoolcho et @chris_j_paxton !