S'attaquer au fossé simulation-réalité sous un angle nouveau
Le fossé entre les politiques entraînées en simulation et le déploiement dans le monde réel reste l'un des défis les plus tenaces de la robotique. Les chercheurs Xinchen Yao, Leixin Chang et Hua Chen ont proposé une nouvelle approche appelée World Translation qui inverse le problème : au lieu de prédire les transitions vers l'avant à partir de l'historique, elle extrait l'information dynamique non observable à l'envers à partir d'une transition observée, puis la traduit entre simulation et réalité comme un problème de traduction de domaines non appariés.
Pourquoi la prédiction vers l'avant est insuffisante
Les méthodes réel-vers-simulation réduisent le fossé du côté réel en apprenant la dynamique des transitions à partir de données réelles pour construire des mondes numériques plus réalistes. Les modèles de dynamique appris sont l'approche dominante. Mais ils sont confrontés à un problème d'observabilité partielle : la même observation peut conduire à différentes transitions en raison de facteurs non observables, tels qu'un événement de contact soudain sans avertissement préalable.
Lorsque l'historique des observations n'est pas informatif, la prédiction vers l'avant basée sur l'historique échoue. L'équipe de World Translation soutient que les simulateurs et les modèles de dynamique appris ont des forces complémentaires — les simulateurs sont déterministes mais physiquement imparfaits, tandis que les modèles appris sont précis mais sous-déterminés en cas d'observabilité partielle.
La méthode World Translation
World Translation exploite cette complémentarité en deux étapes clés :
- Extraction de dynamique inverse : Extraire l'information dynamique non observable à l'envers à partir d'une transition observée, plutôt que de prédire vers l'avant à partir de l'historique.
- Traduction de domaines non appariés : Traduire la caractéristique dynamique extraite entre simulation et réalité comme un problème de traduction de domaines non appariés qui préserve le contenu dynamique tout en transférant le style de domaine.
Résultats sur plusieurs plates-formes
Des expériences sur des plates-formes humanoïdes, quadrupèdes et manipulateurs montrent que World Translation atteint une modélisation de la dynamique plus précise que les lignes de base, avec les gains les plus importants lorsque les facteurs non observables ne peuvent pas être récupérés à partir de l'historique des observations. Le déploiement sur un robot réel Go2 quadrupède a confirmé une amélioration du transfert de politique.
Cette approche suggère une direction prometteuse pour la recherche sim-to-real : au lieu d'essayer de rendre les simulateurs plus réalistes ou d'apprendre uniquement à partir de données réelles, combiner les forces des deux en traitant le fossé comme un problème de traduction dans l'espace de la dynamique.
