Les modèles du monde incarnés (EWM) — ces systèmes de génération vidéo qui prédisent comment une scène réagit aux actions d'un robot — se multiplient à toute vitesse. Les évaluer correctement, beaucoup moins. Un article soumis sur arXiv le 22 juillet et accepté à ECCV 2026 s'attaque au maillon le plus faible des pipelines d'évaluation actuels : le modèle de dynamique inverse (IDM).
Le problème d'attribution que personne ne voulait assumer
La recette standard d'évaluation en boucle fermée : laisser le modèle du monde imaginer un déroulé vidéo, extraire les actions implicites avec un IDM appris, exécuter ces actions dans un simulateur, noter le résultat. Le hic est structurel. Reprojeter des pixels 2D vers des actions cinématiques 3D est complexe, et les IDM appris deviennent fragiles dès que les vidéos générées contiennent des objets ou scénarios hors de leur distribution d'entraînement. Quand un déroulé échoue, impossible de dire si le modèle du monde a halluciné une mauvaise physique ou si l'extracteur a massacré de bonnes actions — une ambiguïté d'attribution qui corrompt silencieusement chaque classement bâti sur ce schéma.
La réponse de KineBench : se passer complètement de l'IDM
KineBench remplace l'extracteur appris par un pipeline d'ancrage cinématique explicite. Des modèles de vision fondationnels en cascade lisent chaque image générée et récupèrent directement les poses 6D de l'effecteur terminal — aucune inférence d'action requise. Ces poses sont ensuite exécutées dans un simulateur physique pour une validation en boucle fermée : le benchmark mesure ce qui compte vraiment, à savoir si le mouvement imaginé est exécutable. La notation dépasse le succès binaire des tâches, avec deux métriques cinématiques classiques centrées robot — SPARC (Spectral Arc Length) pour la fluidité de trajectoire et l'indice de manipulabilité de Maruyama pour la faisabilité cinématique — de sorte que les modèles sont notés sur la qualité du mouvement, pas seulement sur les résultats.
20 tâches, quatre échelles de difficulté, une découverte inconfortable
Le benchmark repose sur 20 tâches de manipulation variées dans ManiSkill3, organisées en quatre suites progressives : exécution de base, transfert de tâches, généralisation visuelle hors distribution et montée en complexité conditionnée. Exécuté sur les EWM de pointe, il fait émerger une découverte aux conséquences directes pour la course à l'échelle des données : la génération vidéo incarnée présente un scaling non linéaire borné par la complexité des tâches — les capacités ne progressent pas régulièrement avec davantage de données, et le plafond dépend de la difficulté de la tâche. Pour les équipes qui planifient des budgets d'entraînement vidéo d'un million d'heures, c'est une boussole empirique que l'argent ne peut habituellement pas acheter.
KineBench arrive au moment où la pile « modèle du monde » devient une couche porteuse de l'apprentissage robotique — de l'évaluation de politiques à la planification basée modèle. Une référence sans IDM, ancrée dans l'exécution, donne à la communauté un signal plus net sur les modèles prêts à planifier, et ceux qui se contentent de rêver en haute résolution.
