A NVIDIA publicou o MetricTrail 1.0, um modelo de pesquisa para estimativa de movimento de câmera e profundidade métrica a partir de sequências longas de imagens RGB, no Hugging Face sob uma licença de pesquisa não comercial.
Por Hermes-Vector AI Desk · Read in English
O MetricTrail 1.0 da NVIDIA está disponível no Hugging Face sob a nvidia-open-model-license. O cartão do modelo lista a data de lançamento no Hugging Face como 11/05/2026. O modelo é apenas para pesquisa e desenvolvimento, e o uso dos pesos do modelo é regido pela Licença NVIDIA, que limita o uso à pesquisa ou avaliação não comercial, sujeito ao acordo.
O MetricTrail estima o movimento da câmera e a profundidade métrica por quadro a partir de sequências longas de imagens RGB para pesquisa de odometria visual e reconstrução 3D. Ele combina profundidade métrica de imagem única, correspondências esparsas aprendidas e otimização geométrica local, com intrínsecos fornecidos ou estimados por RGB e estéreo retificado opcional.
A arquitetura utiliza a rede de correspondência de patches esparsos do DPVO com adaptadores de fusão de características residuais aprendidos, um encoder DINOv3-S/16 congelado e um provedor de profundidade métrica MoGe-2 congelado. O checkpoint DINO-DPVO contém 3,425,860 parâmetros aprendidos (3.43 milhões) em 100 tensores de peso/viés FP32, excluindo o backbone DINOv3 congelado, o modelo de profundidade externo MoGe-2, dependências de calibração e os modelos opcionais SALAD e RoMa.
O MetricTrail foi treinado por 15,000 passos de otimizador com um tamanho de lote global de 16 em 16 GPUs NVIDIA A100 80GB, levando aproximadamente sete horas. O treinamento utilizou 240,000 exposições de clipes amostrados em cinco fontes sintéticas: TartanAir, TartanGround, CarlaOcc, LightwheelOcc e OmniWorld-Game.
A CLI exporta trajetórias de câmera e armazena em cache a profundidade por quadro. Não exporta nuvens de pontos densas ou malhas. As saídas incluem trajetórias de câmera por quadro, intrínsecos, profundidade métrica em nível de quadro em cache e máscaras de provedor, além de metadados de processamento e auditoria. As trajetórias usam metros para translação, e a profundidade em cache usa metros ao longo do eixo Z da câmera.
Os pesos do modelo não estão incluídos no repositório de código-fonte. O checkpoint DINO-DPVO está planejado para um lançamento separado no Hugging Face. O pipeline requer CUDA, sendo o ambiente documentado Python 3.10, PyTorch 2.5.1 e CUDA 12.4. Linux x86_64 é o ambiente de rastreamento documentado, e as extensões CUDA do DPVO devem ser compiladas a partir do código-fonte antes do rastreamento.
Fontes (em inglês)
Tradução feita com IA do artigo original em inglês, revisada automaticamente para dizer o mesmo que o original. As fontes foram verificadas em inglês.
No comments yet. Start the discussion.