Un défi central des VLA humanoïdes
Les politiques Vision-Langage-Action (VLA) sont apparues comme un fondement prometteur pour le contrôle de robots à usage général. Pourtant, les tâches de loco-manipulation humanoïde à long horizon révèlent un écart fondamental : l'état de l'objet utilisé pour conditionner l'action corps entier peut diverger de l'état nécessaire pour vérifier si l'action a effectivement atteint la relation physique visée. À mesure que le robot se déplace, entre en contact et subit des occultations, sa représentation interne des objets de la tâche dérive — ce qui nuit à la fois à la précision de l'exécution et à l'évaluation du taux de réussite.
Ce problème de “divergence de l'état de l'objet” explique pourquoi les politiques VLA qui semblent impressionnantes dans de courtes démos échouent souvent dans des tâches réelles à plusieurs étapes. Une équipe dirigée par Kai Chen propose une solution architecturale élégante : la Tokenisation d'Objets Persistants (POT).
Comment fonctionne POT-VLA
POT maintient des enregistrements 3D d'objets indexés par rôle construits à partir d'observations RGB-D et mis à jour en permanence au fur et à mesure que le robot agit. Ces enregistrements persistants servent simultanément deux objectifs :
- Génération d'actions — les tokens 3D d'objets sont injectés dans un expert d'action corps entier comme conditionnement d'état ancré.
- Vérification géométrique — les mêmes enregistrements prennent en charge des vérifications de succès basées sur des prédicats (par ex. “la tasse est-elle sur la table ?”).
Le résultat est un système d'exécution en boucle fermée dans lequel l'état de l'objet est à la fois actionnable et vérifiable. Lorsque l'enregistrement de l'objet diverge de la réalité après une action, le vérificateur détecte l'échec et déclenche une récupération — au lieu de laisser les erreurs s'accumuler silencieusement sur une longue séquence de tâches.
Résultats sur Unitree G1
Les auteurs mettent en œuvre l'approche sous le nom de POT-VLA et l'évaluent sur un humanoïde Unitree G1 à travers huit familles de tâches réelles, en utilisant une base de référence GR00T-N1.7 appariée comme point de comparaison.
- Base de référence GR00T-N1.7 : 39 / 80 réussites
- POT-VLA : 71 / 80 réussites — une amélioration relative de 82 %
Sur un jeu de référence externe aligné sur Being-0 pour des tâches de service, POT-VLA atteint 44 / 50 réussites contre les 37 / 50 rapportés dans l'article Being-0.
Les gains les plus importants apparaissent précisément sur les tâches nécessitant le maintien de relations spatiales 3D — la prise et dépose avec des contraintes de précision, l'ouverture de portes tout en tenant des objets, et les tâches de réarrangement à plusieurs étapes. Cela confirme que l'état persistant centré sur l'objet est l'abstraction manquante pour une exécution VLA humanoïde vérifiable.
Pourquoi c'est important
POT-VLA compte pour trois raisons :
- Simplicité architecturale. Plutôt que de construire un vérificateur séparé, les mêmes tokens 3D d'objets pilotent à la fois l'action et la vérification — réduisant la complexité d'ingénierie.
- Validation sur robot réel. Les résultats portent sur le matériel physique Unitree G1, pas seulement sur la simulation, avec huit familles de tâches diversifiées.
- Gains mesurables et reproductibles. Passer de 39/80 à 71/80 est un saut quantifiable important que les autres systèmes VLA peuvent directement utiliser comme référence.
L'article (arXiv:2607.18016) a été soumis le 20 juillet 2026 par Peng Ren, Haoyang Ge, Jiang Zhao, Cong Huang, Yukun Shi, Pei Chi et Kai Chen. Il s'inscrit dans un corps de travail en pleine croissance qui traite la “persistance des objets” comme le prochain déficit de capacité critique en IA incarnée — et suggère qu'une solution simple, au niveau des tokens, peut aller loin.
