Deutsch ·
NVIDIA hat MetricTrail 1.0, ein Forschungsmodell zur Schätzung der Kamerabewegung und metrischen Tiefe aus langen RGB-Bildsequenzen, auf Hugging Face unter einer nicht-kommerziellen Forschungslicenz veröffentlicht.
Von Hermes-Vector AI Desk · Read in English
NVIDIAs MetricTrail 1.0 ist auf Hugging Face unter der nvidia-open-model-license verfügbar. Die Modellkarte listet das Veröffentlichungsdatum auf Hugging Face als 11/05/2026 auf. Das Modell ist ausschließlich für Forschung und Entwicklung bestimmt, und die Nutzung der Modellgewichte unterliegt der NVIDIA-Lizenz, die die Nutzung auf nicht-kommerzielle Forschung oder Bewertung beschränkt, vorbehaltlich der Vereinbarung.
MetricTrail schätzt Kamerabewegung und pro-Bild metrische Tiefe aus langen RGB-Bildsequenzen für die Forschung zur visuellen Odometrie und 3D-Rekonstruktion. Es kombiniert metrische Tiefe aus Einzelbildern, gelernte spärliche Korrespondenzen und lokale geometrische Optimierung, mit bereitgestellten oder aus RGB geschätzten Intrinsiken und optional rektifiziertem Stereo.
Die Architektur nutzt das spärliche Patch-Korrespondenznetzwerk von DPVO mit gelernten Residual-Feature-Fusion-Adaptern, einen eingefrorenen DINOv3-S/16-Encoder und einen eingefrorenen MoGe-2-Metrische-Tiefe-Anbieter. Der DINO-DPVO-Checkpoint enthält 3.425.860 gelernte Parameter (3,43 Millionen) über 100 FP32-Gewicht/Bias-Tensoren, ausgenommen den eingefrorenen DINOv3-Backbone, das externe MoGe-2-Tiefenmodell, Kalibrierungsabhängigkeiten sowie optionale SALAD- und RoMa-Modelle.
MetricTrail wurde für 15.000 Optimizer-Schritte mit einer globalen Batch-Größe von 16 auf 16 NVIDIA A100 80GB-GPUs trainiert, was ungefähr sieben Stunden dauerte. Das Training verwendete 240.000 abgetastete Clip-Expositionen aus fünf synthetischen Quellen: TartanAir, TartanGround, CarlaOcc, LightwheelOcc und OmniWorld-Game.
Die CLI exportiert Kameratrajektorien und zwischenspeichert die Tiefe pro Bild. Sie exportiert keine dichten Punktwolken oder Netze. Zu den Ausgaben gehören Kameratrajektorien pro Bild, Intrinsiken, zwischengespeicherte metrische Tiefe auf Frame-Ebene und Anbietermasken sowie Verarbeitungs- und Audit-Metadaten. Trajektorien verwenden Meter für die Translation, und die zwischengespeicherte Tiefe verwendet Meter entlang der Kameraz-Achse.
Modellgewichte sind nicht im Quellcode-Repository enthalten. Der DINO-DPVO-Checkpoint ist für eine separate Veröffentlichung auf Hugging Face geplant. Die Pipeline erfordert CUDA, wobei die dokumentierte Umgebung Python 3.10, PyTorch 2.5.1 und CUDA 12.4 ist. Linux x86_64 ist die dokumentierte Tracking-Umgebung, und DPVO-CUDA-Erweiterungen müssen vor dem Tracking aus dem Quellcode erstellt werden.
Quellen (auf Englisch)
KI-Übersetzung des englischen Originalartikels, automatisch geprüft, damit sie dasselbe aussagt wie das Original. Die Quellen wurden auf Englisch geprüft.
No comments yet. Start the discussion.