AllenAI publie le modèle de robotique ManiFlow-tb pour la manipulation de blocs

AllenAI a publié ManiFlow-tb, un modèle d'action de bas niveau développé pour ToyBlocks, un projet axé sur l'empilement de blocs par un robot. Le modèle est conçu pour manipuler des blocs sur une table, en effectuant spécifiquement des tâches de prise et de déplacement ainsi que des rotations sur place de trois blocs, en utilisant des données simulées du bras Franka.

Architecture et entraînement du modèle

ManiFlow-tb utilise l'architecture ManiFlowMultiModal avec une tête d'action DiTX. Selon la documentation du modèle sur Hugging Face, le modèle contient 322,5 millions de paramètres et est stocké au format bf16. L'architecture comprend 12 couches, 8 têtes et une largeur de 768.

Les entrées du modèle incluent :

• Des images RGB frontales et de la pince (224 x 224, utilisant un encodeur CLIP ViT-B/16)
• Un état robotique à 9 dimensions
• Le nom de la tâche (via T5-small)
• Un jeton de carte thermique cible provenant d'une politique de haut niveau

Le modèle produit un chunk de 25 actions exécutées avec une horizon de prédiction de 50. Il s'agit d'actions absolues à 9 dimensions.

L'entraînement du modèle a impliqué 200 000 étapes sur 8 GPU en utilisant trois ensembles de données LeRobot générés par ToyBlocks pour la manipulation de blocs sur table. L'entraînement a utilisé l'optimiseur AdamW et un plan cosinus avec 500 étapes d'échauffement.

Résultats d'évaluation

L'évaluation a été réalisée par simulation en boucle fermée dans ToyBlocks en utilisant un ensemble de validation isolé de tâches de table à trois blocs. L'évaluation a mesuré les performances du modèle d'action de bas niveau à l'aide d'une politique de haut niveau oracle.

Selon la documentation technique, la réussite est définie comme le respect de toutes les prédicats objectifs avec les blocs stabilisés et la pince ouverte. Lors de quatre exécutions d'évaluation distinctes, les taux de réussite ont été signalés comme suit :

La documentation note que la simulation et l'inférence par lots ne sont pas déterministes au niveau des bits, ce qui signifie qu'une même épisode peut donner lieu à des résultats différents selon les exécutions.

Pourquoi c'est important

ManiFlow-tb fournit un modèle spécialisé pour les tâches de manipulation robotique de bas niveau dans le cadre de ToyBlocks. Les poids du modèle et le code d'entraînement ont été publiés sous la licence Apache 2.0.

Sources (en anglais)

• huggingface.co: allenai/maniflow-tb · Hugging Face

Traduction réalisée par IA de l’article original en anglais, vérifiée automatiquement pour dire la même chose que l’original. Les sources ont été vérifiées en anglais.