Un nouveau benchmark de recherche appelé IMBench (Intuitive Manipulation Benchmark) a été publié sur arXiv, conçu pour évaluer ce que les chercheurs appellent la « manipulation intuitive » — la capacité des robots à combiner le raisonnement physique et l’exécution motrice de façon intégrée.
Publié le 15 juillet 2026, IMBench propose un ensemble de 35 tâches couvrant la manipulation avec contact riche, l’usage d’outils et les dépendances multi-étapes, accompagné de 14 000 trajectoires filtrées et d’outils permettant de générer de nouveaux scénarios. Contrairement aux benchmarks existants, IMBench exige des modèles qu’ils identifient d’abord la structure physique pertinente d’une scène avant de produire une séquence d’actions.
Les résultats montrent que les VLM ont une capacité de raisonnement physique partielle mais ne parviennent pas à traduire ce raisonnement en plans d’action, tandis que les VLA de pointe échouent à respecter les contraintes des tâches. Ce constat confirme que la performance sur des démonstrations contrôlées ne garantit pas une compréhension physique transférable à des scènes nouvelles.
