
机器东说念主看得见,但不一定看得准。
多数 VLA 模子仍然主要依赖二维视觉,一朝遭受精定位、细摆放、讳饰判断这类需要空间感知的任务,奏凯率就会显然下滑。
补空间信息的路有两条,但都有代价。
显式 3D 蹊径靠深度传感器和点云重建,硬件链路长、对标定罪过敏锐;隐式 3D 蹊径从 RGB 学几何,省了硬件,但不少决策依赖较重的基础模子,测验和推理老本偏高。
面前,上海交大 MINT 团队提议了一条中间蹊径 :
Evo-Depth,约0.9B参数,不荒谬加多硬件处事,用紧凑的隐式深度编码把空间感写进 VLA 战略里,乐橙体育(中国)官网入口仿真与真机同期兼顾性能与部署成果。

仿真端,Meta-World 84.4%、LIBERO 95.4%;真机平均奏凯率约 90%;部署侧约 3.2 GB 显存、约 12.3 Hz 推理频率。
代码、权重、测验剧本已全面开源。
轻量、可端到端测验
直入主题,Evo-Depth 的中枢想路是 :
从多视角 RGB 索纷乱凑的隐式深度表征,再以轻量状貌融入视觉 - 说话通路,临了通过 flow-matching 动作人人输出连气儿动作。

悉数系统主要由三部分构成 :
1、IDEM:Implicit Depth Encoding Module。
IDEM 谨慎从多视角图像中索要隐式深度特征,强调空间布局与相对几何关系,博亚体育2026世界杯中国官网而不是显式生成高老本的 3D 中间暗示。
论文中,IDEM 主干约 0.13B 参数,并结合多视角深度预测验启动化,在轻量条目下引入与深度接头的归纳偏置。
2、SEM:Spatial Enhancement Module。
SEM 将隐式深度算作一种调制信号,用于增强视觉 - 说话表征。
比较径直加多安稳深度分支,这种和会状貌更克制 :
原有 VLM 不息谨慎语义联结
深度特征主要谨慎空间增强
同期尽量放肆蔓延与显存支拨
3、Progressive Alignment Training。
天天德州app中国网入口多模块聚拢测验每每容易出现优化不踏实的问题。
为此,作家禁受 Progressive Alignment Training,通过分阶段测验状貌逐步完成:深度表征对都 - 多模态和会 - 动作学习。
动作头则禁受了现时 VLA 中较常见的 flow-matching 蹊径。
在约 0.9B 总参数斥地下,论文讲解的末端如下。
仿真:Meta-World 84.4%、VLA-Arena 41.1%、LIBERO 95.4%、LIBERO-Plus 69.6%。
真机:平均奏凯率约 90%。
部署:约 3.2 GB GPU 显存、约 12.3 Hz 推理频率。
值得庄重的是,比较只温雅 benchmark 分数,论文也给出了部署侧支拨与及时性目标。
关于需要真确运行在机器东说念主放肆回路中的 VLA 来说,这部分信息往往相同进击。
性能 - 老本 - 及时性的折中
归根结底,Evo-Depth 惩办的问题其实即是一句话:
如安在不权臣加多系统处事的情况下,晋升 VLA 的空间才气。
末端是——比较纯二维 VLA,它补充了空间信息;比较更重的 3D 蹊径,它又尽量保留了部署成果。
关于正在作念机器东说念主操作、空间智能或 VLA 系统的团队来说,这类性能 - 老本 - 及时性之间的折中决策,可能会越来越进击。
官方仓库:https://github.com/MINT-SJTU/Evo-Depth
模子权重:https://huggingface.co/MINT-SJTU/EVO-Depth-LIBERO
一键三连「点赞」「转发」「谨防心」
宽容在指摘区留住你的观念!
— 完 —
咱们正在招聘别称眼疾手快、温雅 AI 的学术剪辑实习生 � �
感风趣的小伙伴宽容温雅 � � 了解确定

� � 点亮星标 � �
科技前沿施展逐日见博亚体育