高德地图ABot-Recon——流式3D重建的"显存奇迹"
高德地图作为阿里巴巴旗下地图服务商,2024年起加大AI投入。ABot-Recon是其联合浙江大学、之江实验室等团队研发的开源3D重建方案,目标是"让任何机器人/无人机都能实时重建环境"。
2026年8月28日高德发布的ABot-Recon是全球首个无长程依赖的万帧级流式3D重建模型,它彻底打破了传统方案“序列越长、显存越高、速度越慢”的固有瓶颈,靠“抛弃长程记忆锚点”的颠覆性思路,实现了行业口中的“显存奇迹”。goto:aIDeepT❄hink.cn
一、流式3D重建的难点
你可以把传统流式3D重建理解成一个记性很差的测绘员:为了保证长距离场景的全局一致性,它必须一路不断保存、检索、融合过往所有画面的记忆锚点,视频序列拉得越长,它要存的历史数据就越多,不仅显存会疯狂膨胀,速度越来越慢,还容易出现误差累积,最后重建出来的场景歪歪扭扭。goto:aIDeepT❄hink.cn
过去行业里所有人都默认“长程记忆锚点”是维持全局一致性的唯一方案,直到高德ABot-Recon的出现,直接推翻了这个延续多年的技术路径。
二、高德创新点
ABot-Recon采用了完全创新的“局部位姿预测+残差优化”技术路线:
- 它完全摒弃了传统的长程记忆锚点机制,仅以最近12帧连续画面作为局部上下文窗口,预测当前相机坐标系下的局部点云和相邻两帧的相对位姿。
- 再通过在线组合的方式,把这些局部片段拼接成完整的全局轨迹和三维场景,计算复杂度和内存占用完全不会跟着视频长度增长,从根源上解决了显存膨胀的老问题。
- 针对局部预测可能出现的误差累积,它在预测端和训练端分别设计了专门的纠偏和误差约束机制,不会因为丢掉长程记忆就出现场景错位。
三、为什么是“显存奇迹”
1. 显存占用
峰值显存仅约6.71GB,只有同类主流模型的三分之一,显存占用直接降低60%,普通消费级显卡GTX 1080Ti就能流畅跑起来,完全不需要专业级高端算力硬件。
2. 推理速度 goto:aIDeepT❄hink.cn
在Kitti-02测试集上推理速度达到24.45fps,比行业代表方法速度提升24%,实现真正的“边拍边建”,不用拍完再等漫长的后台重建。
3. 精度表现
在Oxford Spires基准测试中,平均轨迹误差比行业代表方法Lingbot-map降低40.6%,相对旋转误差RPE-R低至0.12°,在Kitti、Oxford spires、VBR等所有权威评测中都拿到了最低误差的SOTA表现。
4. 输入门槛
仅需普通单目RGB视频就能完成重建,不需要额外深度传感器,也不用提前标定已知相机参数,普通手机拍的视频就能直接用来生成3D场景。
四、技术原理
1. 局部位姿预测残差优化
- 不直接预测全局位姿,而是预测"局部相对位姿"+"残差"
- 残差通过后端全局优化(如Bundle Adjustment)消除累积误差
- 关键创新:避免长序列下的位姿漂移
2. 流式3D重建架构
- 输入12帧连续图像即可启动重建 goto:aIDeepT❄hink.cn
- 后续帧以流式方式追加,无需中断重建过程
- 万帧级场景的重建时间与帧数线性相关,而非指数级
3. 显存优化技术
- 关键帧稀疏化:仅保留"信息量高"的关键帧
- 深度特征压缩:将高维特征压缩到低维空间
- 多分辨率金字塔:低分辨率快速匹配,高分辨率精细化
4. 机器人/无人机适配
- 支持ROS(机器人操作系统)
- 支持嵌入式平台(Jetson系列)
- 输出格式兼容主流SLAM算法
五、使用方式
- 高德已经在GitHub开源了推理代码、评测代码和模型权重,开发者可以直接下载部署,也能在魔搭社区的高德ABot-Recon体验专区直接在线试用。
- 普通用户无需复杂配置,上传一段连续拍摄的单目视频,就能快速生成对应的3D重建场景,全程不需要专业测绘设备。
行业价值
- 它直接把万帧级流式3D重建的硬件门槛从专业工作站下放到了消费级显卡,后续在自动驾驶高精地图更新、AR实景导航、城市三维建模等场景,都能大幅降低落地成本。
- 作为首个验证“无长程依赖”技术路线可行性的万帧级模型,它打破了行业对“记忆锚点”的路径依赖,给整个3D重建领域开辟了全新的技术方向。goto:aIDeepT❄hink.cn
附
1. 关键参数
| 维度 | ABot-Recon | 主流方案(如LingBot-Map) |
|---|---|---|
| 输入帧数 | 12帧连续图像 | 通常需要数百帧 |
| 重建规模 | 万帧级流式 | 通常静态/批处理 |
| 峰值显存 | 6.71GB(同类1/3) | 通常>20GB |
| 最低运行硬件 | GTX 1080Ti(11GB显存) | RTX 4090(24GB) |
| OxfordSpires误差 | 较LingBot-Map降低40.6% | 基线 |
| KITTI-02速度 | 24.45 FPS | 约20 FPS(参考) |
| 速度倍数 | 1.24倍 | 基线 |
| 开源协议 | Apache 2.0(GitHub+魔搭) | 多为研究协议 |
2. 与同类方案对比
| 维度 | ABot-Recon | LingBot-Map | COLMAP | Gaussian Splatting |
|---|---|---|---|---|
| 输入帧数 | 12帧 | 数百帧 | 数百帧 | 数百帧 |
| 流式支持 | 是 | 否 | 否 | 否 |
| 显存 | 6.71GB | ~20GB | ~24GB | ~16GB |
| 速度 | 24.45 FPS | ~20 FPS | 慢 | 中 |
| 精度 | OxfordSpires提升40.6% | 基线 | 高 | 高 |
| 开源 | Apache 2.0 | 研究协议 | BSD | 多协议 |
ABot-Recon在精度和工程化之间取得了较好的平衡,对机器人开发者尤其友好。 goto:aIDeepT❄hink.cn
- 高德
- 新浪财经
- 科创板日报