AllenAI lança modelo de robótica ManiFlow-tb para manipulação de blocos

A AllenAI lançou o ManiFlow-tb, um modelo de ação de baixo nível desenvolvido para o ToyBlocks, um projeto focado no empilhamento de blocos por robôs. O modelo é projetado para manipular blocos em uma mesa, realizando especificamente tarefas de pegar e colocar, bem como rotação no local de três blocos, utilizando dados simulados do braço Franka.

Arquitetura do Modelo e Treinamento

O ManiFlow-tb utiliza a arquitetura ManiFlowMultiModal com uma cabeça de ação DiTX. De acordo com a documentação do modelo no Hugging Face, o modelo contém 322,5M de parâmetros e é armazenado no formato bf16. A arquitetura inclui 12 camadas, 8 cabeças e uma largura de 768.

As entradas para o modelo incluem:

• Imagens RGB frontal e da garra (224 x 224, usando um codificador CLIP ViT-B/16)
• Um estado do robô de 9 dimensões
• O nome da tarefa (via T5-small)
• Um token de mapa de calor alvo de uma política de alto nível

O modelo produz um bloco de 25 ações executadas com um horizonte de previsão de 50. Estas são ações absolutas de 9 dimensões.

O treinamento do modelo envolveu 200.000 etapas em 8 GPUs, utilizando três conjuntos de dados LeRobot gerados pelo ToyBlocks para manipulação de blocos em mesa. O treinamento utilizou o otimizador AdamW e um agendamento coseno com 500 etapas de aquecimento.

Resultados da Avaliação

A avaliação foi conduzida por meio de simulação em loop fechado no ToyBlocks, utilizando um conjunto de validação reservado de tarefas de mesa com três blocos. A avaliação mediu o desempenho do modelo de ação de baixo nível usando uma política de alto nível oracular.

De acordo com a documentação técnica, o sucesso é definido como a satisfação de todos os predicados de objetivo, com os blocos estabilizados e a garra aberta. Em quatro execuções de avaliação separadas, as taxas de sucesso foram relatadas da seguinte forma:

A documentação observa que a simulação e a inferência em lote não são determinísticas bit a bit, o que significa que o mesmo episódio pode resultar em resultados diferentes em execuções distintas.

Por que isso importa

O ManiFlow-tb fornece um modelo especializado para tarefas de manipulação robótica de baixo nível dentro do framework ToyBlocks. Os pesos do modelo e o código de treinamento foram lançados sob a Licença Apache 2.0.

Fontes (em inglês)

• huggingface.co: allenai/maniflow-tb · Hugging Face

Tradução feita com IA do artigo original em inglês, revisada automaticamente para dizer o mesmo que o original. As fontes foram verificadas em inglês.