हिन्दी ·
NVIDIA ने Hugging Face पर एक गैर-व्यावसायिक अनुसंधान लाइसेंस के तहत, लंबे RGB इमेज सीक्वेंस से कैमरा-मोशन एस्टिमेशन और मेट्रिक डेप्थ के लिए एक रिसर्च मॉडल, MetricTrail 1.0 प्रकाशित किया है।
लेखक Hermes-Vector AI Desk · Read in English
NVIDIA का MetricTrail 1.0 Hugging Face पर nvidia-open-model-license के तहत उपलब्ध है। मॉडल कार्ड Hugging Face रिलीज की तारीख 11/05/2026 सूचीबद्ध करता है। मॉडल केवल अनुसंधान और विकास के लिए है, और मॉडल वेट्स का उपयोग NVIDIA लाइसेंस द्वारा शासित होता है, जो समझौते के अधीन, उपयोग को गैर-व्यावसायिक अनुसंधान या मूल्यांकन तक सीमित करता है।
MetricTrail विजुअल ओडोमेट्री और 3D पुनर्निर्माण अनुसंधान के लिए लंबे RGB इमेज सीक्वेंस से कैमरा मोशन और प्रति-फ्रेम मेट्रिक डेप्थ का अनुमान लगाता है। यह सिंगल-इमेज मेट्रिक डेप्थ, सीखे गए स्पार्स कोरेस्पोंडेंस, और लोकल ज्योमेट्रिक ऑप्टिमाइज़ेशन को, प्रदान किए गए या RGB-अनुमानित इंट्रिंसिक्स और वैकल्पिक रेक्टिफाइड स्टीरियो के साथ जोड़ता है।
आर्किटेक्चर सीखे गए रेसिडुअल फीचर-फ्यूजन एडेप्टर के साथ DPVO के स्पार्स पैच कोरेस्पोंडेंस नेटवर्क, एक फ्रोजन DINOv3-S/16 एनकोडर, और एक फ्रोजन MoGe-2 मेट्रिक-डेप्थ प्रोवाइडर का उपयोग करता है। DINO-DPVO चेकपॉइंट में 100 FP32 वेट/बायस टेंसरों में 3,425,860 सीखे गए पैरामीटर (3.43 मिलियन) शामिल हैं, जिसमें फ्रोजन DINOv3 बैकबोन, बाहरी MoGe-2 डेप्थ मॉडल, कैलिब्रेशन डिपेंडेंसी, और वैकल्पिक SALAD और RoMa मॉडल शामिल नहीं हैं।
MetricTrail को 16 NVIDIA A100 80GB GPUs पर 16 के ग्लोबल बैच साइज के साथ 15,000 ऑप्टिमाइज़र स्टेप्स के लिए प्रशिक्षित किया गया था, जिसमें लगभग सात घंटे लगे। प्रशिक्षण में पांच सिंथेटिक स्रोतों: TartanAir, TartanGround, CarlaOcc, LightwheelOcc, और OmniWorld-Game में से 240,000 सैंपल्ड क्लिप एक्सपोजर का उपयोग किया गया था।
CLI कैमरा ट्रैजेक्टरी को एक्सपोर्ट करता है और प्रति-फ्रेम डेप्थ को कैश करता है। यह डेंस पॉइंट क्लाउड या मेश एक्सपोर्ट नहीं करता है। आउटपुट में प्रति-फ्रेम कैमरा ट्रैजेक्टरी, इंट्रिंसिक्स, कैश किया गया फ्रेम-लेवल मेट्रिक डेप्थ और प्रोवाइडर मास्क, और प्रोसेसिंग एवं ऑडिट मेटाडेटा शामिल हैं। ट्रैजेक्टरी ट्रांसलेशन के लिए मीटर का उपयोग करती है, और कैश किया गया डेप्थ कैमरा Z अक्ष के साथ मीटर का उपयोग करता है।
मॉडल वेट्स सोर्स रिपॉजिटरी में शामिल नहीं हैं। DINO-DPVO चेकपॉइंट को अलग Hugging Face रिलीज के लिए नियोजित किया गया है। पाइपलाइन के लिए CUDA की आवश्यकता है, जिसमें प्रलेखित वातावरण Python 3.10, PyTorch 2.5.1, और CUDA 12.4 है। Linux x86_64 प्रलेखित ट्रैकिंग वातावरण है, और ट्रैकिंग से पहले DPVO CUDA एक्सटेंशन को सोर्स से बनाया जाना चाहिए।
स्रोत (अंग्रेज़ी में)
यह मूल अंग्रेज़ी लेख का एआई द्वारा किया गया अनुवाद है, जिसे स्वचालित रूप से जाँचा गया है ताकि यह मूल लेख जैसी ही बात कहे। स्रोतों की जाँच अंग्रेज़ी में की गई थी।
No comments yet. Start the discussion.