Les données du monde réel sont le maillon manquant entre la simulation et l'intelligence physique. Avec le Lemorele P300 (R), Robora comble cette lacune, transformant chaque utilisateur en contributeur à l'évolution de l'IA incarnée. Il permet la capture vidéo en temps réel et en haute définition depuis n'importe quelle caméra, qu'elle soit montée sur un prototype de robot, un drone ou une caméra portable. Ce flux visuel est transmis sans fil et sans perte à un appareil connecté (tablette, téléphone ou PC) qui exécute l'interface Robora VLA ou l'application de capture de données. L'appareil diffuse ensuite ou télécharge ces flux directement dans le cloud de Robora ou dans un nœud de traitement VLA local. En collectant des données provenant d'environnements et de cas d'utilisation divers, Robora acquiert la base nécessaire pour entraîner et affiner ses modèles sur des informations sensorielles du monde réel, allant au-delà des données purement simulées. Cette approche est essentielle pour réduire l'écart entre la simulation et la réalité, la différence de performance entre les robots entraînés en simulation et ceux opérant dans des environnements physiques complexes.

Robora Sim : Un environnement propulsé par PyBullet pour l'apprentissage de l'intelligence physique robotique Nous sommes actuellement en train de construire notre environnement de simulation Robora pour notre apprentissage basé sur la simulation, en tirant parti de PyBullet, un moteur physique standard de l'industrie largement utilisé dans la recherche et le développement en robotique alimentée par l'IA. L'environnement est optimisé avec des algorithmes d'apprentissage accélérés par GPU, permettant un apprentissage par imitation et un apprentissage par renforcement à grande vitesse dans un cadre virtuel sûr et contrôlé avant d'être déployé dans le monde réel. Cette plateforme de simulation permet à nos modèles d'apprendre, de s'adapter et de généraliser à travers différentes morphologies de robots, types de terrains et objectifs de tâches - tout cela avant le déploiement dans le monde réel. Au cœur du système, on combine un planificateur de haut niveau alimenté par VLA avec des algorithmes de contrôle de mouvement de bas niveau, travaillant de manière cohésive pour produire des comportements émergents et physiquement intelligents. Cette synergie entre simulation, apprentissage et transfert vers le monde réel marque une avancée majeure dans notre quête de systèmes robotiques adaptatifs et intelligents. Grâce à une randomisation avancée de domaine et à la génération de données synthétiques, l'environnement de simulation Robora garantit que les politiques entraînées en simulation se transfèrent efficacement aux robots du monde réel, minimisant l'écart entre simulation et réalité. De plus, les utilisateurs pourront tester et intégrer leurs propres kits matériels dans des environnements de simulation sélectionnés dans le Dapp Robora, garantissant une compatibilité sans faille et une mise en œuvre plus sûre dans le monde réel.

Cette semaine chez Robora, nous nous sommes principalement concentrés sur le développement. Notre travail a consisté à améliorer les outils essentiels qui alimentent la plateforme, de la gestion des modèles et des capacités de réglage fin à la cartographie 3D et à la vision par ordinateur. Nous avons également élargi notre réseau en rejoignant de nouvelles initiatives d'IA dans le monde réel et avons continué à travailler sur la connexion entre la recherche et les applications robotiques pratiques. Voici les principales mises à jour : - Publication d'une mise à jour de développement Robora, partageant les progrès réalisés sur la plateforme : ajout de la gestion des poids de modèle avec l'intégration de Hugging Face, création d'un outil CLI précoce pour les développeurs, élaboration du plan pour le SDK de réglage fin avec apprentissage par imitation et RLHF dans PyBullet, et début des travaux sur un SDK de cartographie 3D pour générer des environnements du monde réel. - Robora a rejoint le Real World AI Foundry, une initiative mondiale dirigée par @iotex_io aux côtés de partenaires comme Vodafone, Filecoin et Theta. Cette collaboration aide à créer des normes et des cadres ouverts pour l'IA dans le monde réel et soutient notre mission de connecter les systèmes physiques avec des agents intelligents. - Publication de notre récapitulatif mensuel de septembre, mettant en avant les dernières mises à jour de développement et fournissant un aperçu de la direction que prend la plateforme. - Annonce que notre collaboration avec les universités sur le module de vision Robora est proche de l'achèvement. Ce système de vision par ordinateur open-source donne aux robots la capacité de voir et de comprendre le monde en temps réel et sera bientôt présenté avec les chercheurs et partenaires qui ont contribué.