Modèles Vision-Langage-Action (VLA) Expliqués: Guide du Débutant 2026
Les modèles VLA (Vision-Langage-Action) représentent la troisième génération de modèles fondamentaux en IA. Alors que les LLMs résolvent le « comment converser » et que les VLMs résolvent le « comment comprendre les images », les modèles VLA répondent à la question la plus ambitieuse : comment voir, comprendre et agir physiquement dans le monde réel.
Architecture
Un modèle VLA fonctionne en trois couches :
- Encodage visuel : Les Transformers de vision (SigLIP, DINOv2) extraient les caractéristiques sémantiques et spatiales des images
- Compréhension du langage : Un backbone VLM pré-entraîné interprète les instructions en langage naturel
- Décodage d'actions : Les actions sont générées via tokenisation discrète, diffusion/flow matching, ou régression
Modèles Clés
RT-2 (Google DeepMind, 2023) : Premier modèle VLA, 55B paramètres, actions traitées comme tokens de texte.
OpenVLA (Stanford, 2024) : Open-source, 7B paramètres, double encodeur visuel (SigLIP + DINOv2). Surpasse RT-2-X avec 7× moins de paramètres.
π0 (Physical Intelligence, 2024) : Flow matching pour une manipulation dextre à 50 Hz. π0.5 (2025) généralise à des environnements jamais vus.
MINT-4B (Guangdong Smart Future, 2026) : 4B paramètres, classé top 3 mondial. Technologie SDAT de tokenisation fréquentielle multi-échelle.
Helix (Figure AI, 2025) : Architecture à deux systèmes (S2 7B + S1 80M) pour le contrôle humanoïde complet. Exécution embarquée sur GPU basse consommation.
UniVLA (HKU, 2025) : Modèle unifié où vision, langage et action sont des tokens discrets. 95.5% de succès sur LIBERO.
Applications et Défis
Les modèles VLA sont déployés dans la logistique (Figure AI), la robotique domestique (Physical Intelligence), et les espaces commerciaux (MINT-4B). Les défis incluent la généralisation fiable, l'efficacité des données, le fossé simulation-réalité, et les contraintes de temps réel.
