AllenAI lanza el modelo de robótica ManiFlow-tb para la manipulación de bloques

AllenAI ha lanzado ManiFlow-tb, un modelo de acciones de bajo nivel desarrollado para ToyBlocks, un proyecto centrado en el apilamiento de bloques por robots. El modelo está diseñado para manipular bloques sobre una mesa, realizando específicamente tareas de recogida y colocación, así como rotación in situ de tres bloques, utilizando datos simulados del brazo Franka.

Arquitectura del modelo y entrenamiento

ManiFlow-tb utiliza la arquitectura ManiFlowMultiModal con una cabeza de acción DiTX. Según la documentación del modelo en Hugging Face, el modelo contiene 322.5M de parámetros y se almacena en formato bf16. La arquitectura incluye 12 capas, 8 cabezales y un ancho de 768.

Las entradas para el modelo incluyen:

• Imágenes RGB frontales y de la pinza (224 x 224, utilizando un codificador CLIP ViT-B/16)
• Un estado del robot de 9 dimensiones
• El nombre de la tarea (vía T5-small)
• Un token de mapa de calor objetivo de una política de alto nivel

El modelo produce un fragmento de 25 acciones ejecutadas con un horizonte de predicción de 50. Se trata de acciones absolutas de 9 dimensiones.

El entrenamiento del modelo consistió en 200,000 pasos en 8 GPUs utilizando tres conjuntos de datos LeRobot generados por ToyBlocks sobre manipulación de bloques en mesa. El entrenamiento utilizó el optimizador AdamW y un programa coseno con 500 pasos de calentamiento.

Resultados de la evaluación

La evaluación se realizó mediante simulación en bucle cerrado en ToyBlocks utilizando un conjunto de validación retenido de tareas de mesa con tres bloques. La evaluación midió el rendimiento del modelo de acciones de bajo nivel utilizando una política de alto nivel oráculo.

Según la documentación técnica, el éxito se define como que todos los predicados objetivo se cumplan con los bloques asentados y la pinza abierta. En cuatro ejecuciones de evaluación separadas, las tasas de éxito se informaron de la siguiente manera:

La documentación señala que la simulación y la inferencia por lotes no son deterministas a nivel de bits, lo que significa que el mismo episodio puede dar lugar a resultados diferentes en distintas ejecuciones.

Por qué importa

ManiFlow-tb proporciona un modelo especializado para tareas de manipulación robótica de bajo nivel dentro del marco ToyBlocks. Los pesos del modelo y el código de entrenamiento se han publicado bajo la Licencia Apache 2.0.

Fuentes (en inglés)

• huggingface.co: allenai/maniflow-tb · Hugging Face

Traducción con IA del artículo original en inglés, revisada automáticamente para que diga lo mismo que el original. Las fuentes fueron verificadas en inglés.