Данные из реального мира — это недостающая связь между симуляцией и физическим интеллектом. С помощью Lemorele P300 (R) Robora закрывает этот разрыв, превращая каждого пользователя в участника эволюции воплощенного ИИ. Он позволяет захватывать видео в реальном времени и в высоком разрешении с любой камеры, будь то установленная на прототипе робота, дроне или портативной камере. Этот визуальный поток передается беспроводным и без потерь на подключенное устройство (планшет, телефон или ПК), на котором работает интерфейс Robora VLA или приложение для захвата данных. Устройство затем транслирует или загружает эти потоки непосредственно в облако Robora или локальный узел обработки VLA. Собирая данные из различных сред и случаев использования, Robora получает основу для обучения и тонкой настройки своих моделей на основе информации сенсоров из реального мира, выходя за рамки чисто симулированных данных. Этот подход является ключевым для сокращения разрыва между симуляцией и реальностью, разницы в производительности между роботами, обученными в симуляции, и теми, которые работают в сложных физических условиях.

Robora Sim: Среда на основе PyBullet для обучения физическому интеллекту роботов В настоящее время мы создаем нашу среду симуляции Robora для обучения на основе симуляций, используя PyBullet, стандартный физический движок, широко используемый в исследованиях и разработках в области робототехники с применением ИИ. Среда оптимизирована с помощью алгоритмов обучения с ускорением на GPU, что позволяет проводить быстрое обучение подражанию и обучение с подкреплением в безопасной и контролируемой виртуальной среде перед отправкой в реальный мир. Эта платформа симуляции позволяет нашим моделям учиться, адаптироваться и обобщать информацию для различных морфологий роботов, типов местности и задач - все это до развертывания в реальном мире. В своей основе система сочетает в себе высокоуровневый планировщик на основе VLA с алгоритмами низкоуровневого управления движением, которые работают совместно для создания возникающих, физически интеллектуальных поведений. Эта синергия между симуляцией, обучением и переносом в реальный мир является важным шагом вперед в нашем стремлении к адаптивным и интеллектуальным роботизированным системам. Благодаря продвинутой рандомизации доменов и генерации синтетических данных, среда симуляции Robora обеспечивает эффективный перенос политик, обученных в симуляции, на реальные роботы, минимизируя разрыв между симуляцией и реальностью. Более того, пользователи смогут тестировать и интегрировать свои собственные аппаратные комплекты в выбранные симуляционные среды в Dapp Robora, обеспечивая бесшовную совместимость и более безопасную реализацию в реальном мире.

На этой неделе в Robora мы сосредоточились в основном на разработке. Наша работа была направлена на улучшение основных инструментов, которые поддерживают платформу, от управления моделями и возможностей тонкой настройки до 3D-картирования и компьютерного зрения. Мы также расширили нашу сеть, присоединившись к новым инициативам в области ИИ в реальном мире, и продолжили работать над соединением исследований с практическими приложениями робототехники. Вот ключевые обновления: - Опубликовано обновление по разработке Robora, в котором делится прогрессом по всей платформе: добавлено управление весами моделей с интеграцией Hugging Face, создан ранний инструмент CLI для разработчиков, установлен план для SDK тонкой настройки с имитационным обучением и RLHF в PyBullet, и начата работа над SDK 3D-картирования для генерации реальных окружений. - Robora присоединилась к Real World AI Foundry, глобальной инициативе, возглавляемой @iotex_io вместе с партнерами, такими как Vodafone, Filecoin и Theta. Это сотрудничество помогает создать открытые стандарты и рамки для реального ИИ и поддерживает нашу миссию по соединению физических систем с интеллектуальными агентами. - Выпущен наш сентябрьский ежемесячный обзор, в котором подчеркиваются последние обновления разработки и предоставляется обзор того, куда движется платформа дальше. - Объявлено, что наше сотрудничество с университетами по модулю Robora Vision близится к завершению. Эта система компьютерного зрения с открытым исходным кодом дает роботам возможность видеть и понимать мир в реальном времени и вскоре будет представлена вместе с исследователями и партнерами, которые внесли свой вклад.