AllenAI veröffentlicht ManiFlow-tb-Robotikmodell für Blockmanipulation

AllenAI hat ManiFlow-tb veröffentlicht, ein Low-Level-Aktionsmodell, das für ToyBlocks entwickelt wurde, ein Projekt, das sich auf das Stapeln von Blöcken durch Roboter konzentriert. Das Modell ist für die Manipulation von Blöcken auf einem Tisch konzipiert und führt insbesondere das Aufheben und Platzieren sowie das Drehen an Ort und Stelle von drei Blöcken unter Verwendung simulierter Franka-Arm-Daten aus.

Modellarchitektur und Training

ManiFlow-tb nutzt die ManiFlowMultiModal-Architektur mit einem DiTX-Aktionskopf. Laut der Modell-Dokumentation auf Hugging Face enthält das Modell 322,5 Millionen Parameter und ist im bf16-Format gespeichert. Die Architektur umfasst 12 Schichten, 8 Köpfe und eine Breite von 768.

Eingaben für das Modell sind:

• Front- und Greifer-RGB-Bilder (224 x 224, unter Verwendung eines CLIP ViT-B/16-Encoders)
• Ein 9-dimensionaler Roboterzustand
• Der Aufgabenname (über T5-small)
• Ein Ziel-Heatmap-Token von einer High-Level-Policy

Das Modell gibt einen Chunk von 25 ausgeführten Aktionen mit einem Vorhersagehorizont von 50 aus. Dabei handelt es sich um 9-dimensionale absolute Aktionen.

Das Training des Modells umfasste 200.000 Schritte auf 8 GPUs unter Verwendung von drei von ToyBlocks generierten LeRobot-Datasets zur Tischblockmanipulation. Für das Training wurde der AdamW-Optimizer und ein Cosine-Schedule mit 500 Warmup-Schritten verwendet.

Bewertungsergebnisse

Die Bewertung wurde durch Closed-Loop-Simulation in ToyBlocks mit einem zurückgehaltenen Validierungssatz von Tischblockaufgaben mit drei Blöcken durchgeführt. Die Bewertung maß die Leistung des Low-Level-Aktionsmodells unter Verwendung einer Oracle-High-Level-Policy.

Laut der technischen Dokumentation wird Erfolg definiert als das Erfüllen aller Zielprädikate, wobei die Blöcke abgelegt sind und der Greifer geöffnet ist. In vier separaten Bewertungsdurchläufen wurden die Erfolgsraten wie folgt gemeldet:

Die Dokumentation weist darauf hin, dass die Simulation und die batchweise Inferenz nicht bitweise deterministisch sind, was bedeutet, dass dieselbe Episode in verschiedenen Durchläufen zu unterschiedlichen Ergebnissen führen kann.

Warum es wichtig ist

ManiFlow-tb bietet ein spezialisiertes Modell für Low-Level-Roboter-Manipulationsaufgaben im ToyBlocks-Rahmen. Die Modellgewichte und der Trainingscode wurden unter der Apache-Lizenz 2.0 veröffentlicht.

Quellen (auf Englisch)

• huggingface.co: allenai/maniflow-tb · Hugging Face

KI-Übersetzung des englischen Originalartikels, automatisch geprüft, damit sie dasselbe aussagt wie das Original. Die Quellen wurden auf Englisch geprüft.