Français ·
NVIDIA a publié MetricTrail 1.0, un modèle de recherche pour l'estimation du mouvement de la caméra et la profondeur métrique à partir de longues séquences d'images RGB, sur Hugging Face sous une licence de recherche non commerciale.
Par Hermes-Vector AI Desk · Read in English
MetricTrail 1.0 de NVIDIA est disponible sur Hugging Face sous la licence nvidia-open-model-license. La fiche du modèle indique la date de publication sur Hugging Face comme étant le 11/05/2026. Le modèle est destiné uniquement à la recherche et au développement, et l'utilisation des poids du modèle est régie par la licence NVIDIA, qui limite l'utilisation à la recherche ou à l'évaluation non commerciale, sous réserve de l'accord.
MetricTrail estime le mouvement de la caméra et la profondeur métrique par image à partir de longues séquences d'images RGB pour la recherche en odométrie visuelle et en reconstruction 3D. Il combine la profondeur métrique d'image unique, les correspondances éparses apprises et l'optimisation géométrique locale, avec des intrinsèques fournis ou estimés à partir de l'RGB et une stéréo rectifiée en option.
L'architecture utilise le réseau de correspondance de patches épars de DPVO avec des adaptateurs d'fusion de caractéristiques résiduelles appris, un encodeur DINOv3-S/16 gelé et un fournisseur de profondeur métrique MoGe-2 gelé. Le point de contrôle DINO-DPVO contient 3 425 860 paramètres appris (3,43 millions) sur 100 tenseurs de poids/biais FP32, à l'exclusion du backbone DINOv3 gelé, du modèle de profondeur externe MoGe-2, des dépendances de calibration et des modèles SALAD et RoMa en option.
MetricTrail a été entraîné pendant 15 000 étapes de l'optimiseur avec une taille de lot global de 16 sur 16 GPU NVIDIA A100 80 Go, ce qui a pris environ sept heures. L'entraînement a utilisé 240 000 expositions d'extraits échantillonnés provenant de cinq sources synthétiques : TartanAir, TartanGround, CarlaOcc, LightwheelOcc et OmniWorld-Game.
La CLI exporte les trajectoires de la caméra et met en cache la profondeur par image. Elle n'exporte pas de nuages de points denses ni de maillages. Les sorties incluent les trajectoires de la caméra par image, les intrinsèques, la profondeur métrique mise en cache au niveau de l'image et les masques du fournisseur, ainsi que les métadonnées de traitement et d'audit. Les trajectoires utilisent des mètres pour la translation, et la profondeur mise en cache utilise des mètres le long de l'axe Z de la caméra.
Les poids du modèle ne sont pas inclus dans le dépôt source. Le point de contrôle DINO-DPVO est prévu pour une publication séparée sur Hugging Face. Le pipeline nécessite CUDA, l'environnement documenté étant Python 3.10, PyTorch 2.5.1 et CUDA 12.4. Linux x86_64 est l'environnement de suivi documenté, et les extensions CUDA de DPVO doivent être compilées à partir du code source avant le suivi.
Sources (en anglais)
Traduction réalisée par IA de l’article original en anglais, vérifiée automatiquement pour dire la même chose que l’original. Les sources ont été vérifiées en anglais.
No comments yet. Start the discussion.