Les chercheurs ont introduit OMG (Génération de Mouvement Omni-Modal), un cadre complet pour le contrôle universel des robots humanoïdes. Le travail aborde un défi fondamental en robotique: permettre un contrôle flexible et adaptatif qui peut exploiter plusieurs types de signaux d'entrée pour générer un mouvement naturel du corps entier.
L'architecture centrale reflète la structure des systèmes moteurs biologiques. Le module cerveau évolutif supporte les entrées de condition multi-modales, y compris les commandes en langage naturel, les signaux audio et les mouvements de référence humains. Le module cervelet de suivi de mouvement réactif assure l'exécution précise des plans de mouvement générés.
Les chercheurs ont développé un pipeline minutieux de curation et d'annotation des données pour obtenir des données d'entraînement de haute qualité. Le backbone de génération de mouvement basé sur la diffusion supporte le langage, l'audio et le mouvement de référence humain comme entrées conditionnelles. Les expériences démontrent qu'OMG atteint des performances de pointe en tant que contrôleur全身-full-modal.
