NVIDIA publie le modèle d'apprentissage par renforcement Metatron-v1

NVIDIA a publié Metatron-v1, un modèle d'apprentissage par renforcement conçu pour le contrôle d'humanoides interactifs. Le modèle est hébergé dans un dépôt et intégré avec ProtoMotions. Selon la documentation du modèle sur Hugging Face, il est destiné aux chercheurs et développeurs exécutant un contrôle d'humanoides interactif dans un navigateur, bien que des packages natifs G1 séparés supportent également les flux de travail de déploiement dans le simulateur et supervisé sur G1 réel.

Architecture du modèle et spécifications techniques

Le modèle Metatron v1 est un "étudiant transformeur de style MaskedMimic avec prior déterministe et décodeur." Il est conçu pour le robot Unitree G1, qui dispose de 29 articulations contrôlées. Le modèle utilise l'inférence FP32 et un prior appris déterministe.

NVIDIA fournit plusieurs artefacts pour le modèle :

• Inférence native PyTorch G1 : Cela inclut un point de contrôle, une configuration résolue, une recette de reconstruction et des fichiers légaux. Le point de contrôle natif fait 459 455 983 octets.
• demo/model.onnx : Un pipeline de scène/récupération pour navigateur à robot unique. Ce fichier fait 403 375 789 octets et inclut le traitement des observations et la conversion des actions.
• racer/network.onnx : Un réseau G1 Racer par lots à six robots. Ce fichier fait 403 036 698 octets et nécessite le traitement des observations séparé du G1 Racer.

NVIDIA précise que les exports d'inférence ONNX sont pour une politique unifiée Metatron G1 de scène/récupération. Cette politique couvre la marche, l'interaction avec la scène et la récupération, et n'utilise pas d'adaptateur de récupération séparé. Les deux fichiers ONNX utilisent les mêmes poids de politique appris mais ont des interfaces d'exécution différentes et ne sont pas interchangeables.

Déploiement et intégration

Les intégrations navigateur utilisent MuJoCo WASM pour la simulation et ONNX Runtime Web pour l'inférence. Bien que WebGPU soit recommandé pour les appareils capables, CPU/WASM sert de solution de repli, bien qu'il ne garantisse pas le fonctionnement en temps réel pour six robots.

Le pipeline de démo consomme 39 entrées, incluant l'état actuel du G1, huit échantillons d'état historiques, des actions brutes entrantes appariées, un historique d'actions brutes à neuf entrées, des objectifs de pose/style/vitesse futurs masqués et un contexte de boîte de scène. Le modèle retourne des cibles PD d'articulation (action), des gains PD (raideur, amortissement) et des raw_action pour le retour d'information historique.

Limites et sécurité

NVIDIA inclut plusieurs avertissements concernant l'utilisation du modèle. L'entreprise indique que "La récupération, l'équilibre et le suivi peuvent échouer, en particulier en dehors des états, du terrain et de la distribution de commandes évalués." De plus, le modèle n'est pas un système d'évitement de collision ni un contrôleur de sécurité.

Concernant l'utilisation matérielle, NVIDIA précise qu'il "nécessite une validation indépendante, des limites d'articulation/couple appropriées, des tests supervisés et un mécanisme d'arrêt d'urgence." L'entreprise note également que certaines fonctionnalités, telles que les aides de lancement de jeu, les zones de faible gravité et les renaissances, sont des mécaniques d'application plutôt que des capacités garanties par la politique apprise ou le robot physique.

Pourquoi c'est important

Metatron-v1 fournit un cadre pour tester la locomotion et la récupération d'humanoides. Bien que les fichiers ONNX fournissent la politique apprise, ils ne sont pas des démos complètes ; les applications fournissent la physique, les observations, les objectifs de tâche et la logique de contrôle nécessaires.

Sources (en anglais)

• huggingface.co: nvidia/Metatron-v1 · Hugging Face

Traduction réalisée par IA de l’article original en anglais, vérifiée automatiquement pour dire la même chose que l’original. Les sources ont été vérifiées en anglais.