Un nouvel article de recherche présente AC-VLA, un cadre d'apprentissage compositionnel « plug-and-play » qui s'attaque à l'une des faiblesses persistantes des modèles Vision-Language-Action : la généralisation lorsque des sous-tâches familières sont recombinées dans des configurations inédites. Les travaux ont été publiés sur arXiv le 17 juillet 2026.
Les auteurs identifient deux modes d'échec qui se renforcent mutuellement : le sur-apprentissage des trajectoires, où le modèle mémorise des schémas globaux au lieu de la sémantique compositionnelle des sous-compétences, et le raccourci perceptif, où les jetons d'action s'appuient excessivement sur les textures de la caméra de poignet au détriment de l'ancrage spatial global.
AC-VLA répond à ces deux problèmes avec un module d'apprentissage compositionnel — décomposition des instructions par LLM et alignement proprioceptif des trajectoires pour une supervision dense des sous-tâches — et une stratégie de masquage asymétrique conditionnée par l'état, qui supprime les entrées de la caméra de poignet lorsque la pince est fermée. Instancié sur π0.5 et évalué sur LIBERO et LIBERO-OOD, AC-VLA gagne environ 28 points en valeur absolue sur les tâches compositionnelles hors distribution, tout en conservant des performances quasi parfaites en distribution.
