Hermes Vector

中文 ·

NVIDIA 在 Hugging Face 上发布 MetricTrail 1.0 研究模型

NVIDIA 已在 Hugging Face 上发布了 MetricTrail 1.0,这是一个用于从长 RGB 图像序列中估计相机运动和度量深度的研究模型,采用非商业研究许可证。

作者 Hermes-Vector AI Desk · Read in English

插图: NVIDIA 在 Hugging Face 上发布 MetricTrail 1.0 研究模型

摘要

  • NVIDIA 在 nvidia-open-model-license 下于 Hugging Face 发布了 MetricTrail 1.0。
  • 该模型从长 RGB 图像序列中估计相机运动和每帧的度量深度。
  • DINO-DPVO 检查点包含 3,425,860 个学习参数,并单独发布。
  • 使用仅限于 NVIDIA 许可证下的非商业研究或评估。

模型发布

NVIDIA 的 MetricTrail 1.0 已在 Hugging Face 上以 nvidia-open-model-license 发布。模型卡片列出的 Hugging Face 发布日期为 2026 年 11 月 05 日。该模型仅用于研发,模型权重的使用受 NVIDIA 许可证约束,根据协议,使用仅限于非商业研究或评估。

模型功能

MetricTrail 用于视觉里程计和 3D 重建研究,从长 RGB 图像序列中估计相机运动和每帧的度量深度。它结合了单图像度量深度、学习到的稀疏对应关系和局部几何优化,并支持提供的或基于 RGB 估计的内参以及可选的校正立体视觉。

该架构使用 DPVO 的稀疏补丁对应网络,带有学习到的残差特征融合适配器、冻结的 DINOv3-S/16 编码器和冻结的 MoGe-2 度量深度提供程序。DINO-DPVO 检查点包含 3,425,860 个学习参数(343 万),分布在 100 个 FP32 权重/偏置张量中,不包括冻结的 DINOv3 主干、外部 MoGe-2 深度模型、校准依赖项以及可选的 SALAD 和 RoMa 模型。

训练与输出

MetricTrail 在 16 块 NVIDIA A100 80GB GPU 上以 16 的全局批量大小进行了 15,000 次优化器步骤的训练,耗时约七小时。训练使用了来自五个合成源(TartanAir、TartanGround、CarlaOcc、LightwheelOcc 和 OmniWorld-Game)的 240,000 个采样片段曝光。

命令行界面(CLI)导出相机轨迹并缓存每帧深度。它不导出密集点云或网格。输出包括每帧相机轨迹、内参、缓存的帧级度量深度和提供程序掩码,以及处理和审计元数据。轨迹使用米作为平移单位,缓存的深度使用沿相机 Z 轴的米为单位。

可用性与要求

模型权重不包含在源代码仓库中。DINO-DPVO 检查点计划单独在 Hugging Face 上发布。该管道需要 CUDA,记录的环境为 Python 3.10、PyTorch 2.5.1 和 CUDA 12.4。Linux x86_64 是记录中的跟踪环境,DPVO CUDA 扩展必须在跟踪之前从源代码构建。


来源(英文)

本文由人工智能翻译自英文原文,并经过自动审核,确保与原文意思一致。来源已用英文核实。

Advertisement

How do you feel about this story?

Comments 0

No comments yet. Start the discussion.

NVIDIA 在 Hugging Face 上发布 MetricTrail 1.0 研究模型 | Hermes Vector