工厂里换一款产品、改一条产线,传统机器人得重新采集数据、重训、再验证,周期以周计。Skild AI 的新模型 S1 想干一件事:你拿手机拍一段"我想让机器人这么做"的视频,丢给它,11 分钟后机器人就能自己干起来——不用改权重、不用专门后训练。对 AI 数据工程师而言,真正值钱的不是"机器人变聪明",而是"数据从哪来、怎么被高效利用"这件事被彻底重写了。

文章配图(来源:Pexels)图片来源:Pexels

一段视频,约等于 380 条手工样本

9 月 10 日,Skild AI 发布机器人基础模型 S1,核心是"上下文学习(in-context learning)":把一段视频演示作为提示词输入,模型理解其中的意图、物体和步骤顺序,直接映射成眼前机器人的动作,全程不更新模型权重、不做任务专属后训练。它能完成最长约 10 分钟、含数十个操作步的陌生任务——比如给植物换盆、煎饼、手冲咖啡、套件组装,且能在物体移位时自我调整、从错误中恢复。

几个硬数字很说明问题:在全新多步任务上,S1 每步成功率约 66%,而同类 AI 系统仅 9%,提升超 7 倍;Skild 估算,给机器人看一段短视频示例,价值约等于约 380 条亲手采集的训练样本——而人工采集这些样本可能要 50–100 小时;在一个"植物换盆"测试中,从录示范到硬件自主执行只用了 11 分钟。

完整技术栈,与一条落地的路

这背后是完整的 NVIDIA 技术栈:用 Cosmos 把视频转成结构化描述、用 Cosmos Curator 大规模标注筛选数据;用 Omniverse 与 Isaac Sim 生成物理可信的虚拟环境做训练与边界测试;用开源框架 Isaac Lab(基于 Newton 物理引擎)做强化学习、压低"仿真到现实"的落差;上线前再用 Nsight 找性能瓶颈、TensorRT 优化推理,让机器人响应够快。

商业落地也在跑:Skild、NVIDIA 与 富士康(Foxconn)正把"Skild Brain"部署到双臂机械臂上,做 NVIDIA Blackwell 系统的高精度装配——装汇流排、拧 16 颗螺丝、在扰动中保持节拍。Skild 成立 10 个月已达 1 亿美元年化营收,建成 60+ 部署合作。

对 AI 数据工程师,这是"数据工程 + 仿真 + 模型部署"全链路打通的范本:考的就是怎么把稀缺的真实数据,用合成数据、仿真、标注工具放大成可训练资产——S1 把这条路走通了。


来源:NVIDIA 官方博客《Skild AI teaches robots new tasks from a single video with NVIDIA physical AI》