训练机器人时,开发者不只需要一段“看起来真实”的视频,还需要环境听懂指令:机械臂一动,画面就跟着变化;汽车转向后,摄像头与激光雷达也要同步更新。英伟达为 Cosmos 3 新增四个开放权重检查点——即允许开发者自行部署、微调和评测的模型参数,面向机器人和自动驾驶的交互式世界模拟。
其中最具体的一项是 Cosmos3-Nano-Transfer-Auto:它能生成最多 11 个同步摄像头视角,包括鱼眼画面,并联合生成 RGB 视频与 LiDAR(用激光测量周围三维距离的传感器)数据。开发者可用场景控制和文字提示改变道路结构、交通运动、天气、光照与时段。其流式版本 Sim-Auto 则根据新的驾驶控制连续生成后续观察,让每次观察都能影响下一步行动。四款模型均为 Cosmos 3 Nano 的后训练版本,各有 160 亿个可训练参数,并采用允许商业及非商业使用的 OpenMDW1.1。开放权重不等于训练数据和完整流程全部公开;材料也指出,模型能否可靠支持策略训练与评测,仍需进一步验证。