TwelveLabs Pegasus 1.6:把第一人称视频变成机器人训练数据
TwelveLabs 于2026年10月正式发布全新视频理解大模型 Pegasus 1.6,这是行业首款专门面向第一人称(egocentric)视频理解的视觉语言模型,核心定位是把人类佩戴运动相机、智能眼镜拍摄的第一人称操作视频,全自动转化为可直接用于机器人训练的标准化数据集,打破了此前机器人示教数据高度依赖人工标注的行业瓶颈。
公开第一人称数据集 Ego-Exo4D 提供了基准参照:1286 小时视频耗费了累计 20 万以上人工小时做动作与流程标注,折合处理 1 小时原始素材约需 155 人工小时。这是法院机器人学习数据成本的量级。
一、关键参数
- 上下文窗口:261,120 token,最长处理约 2 小时视频。
- 五项能力:动作分段与标注、密集描述(手部/工具/对象的空间交互)、质量评审(相机稳定、取景、遮挡、动作清晰度)、检索与策展(异常事件与重复片段)、隐私合规检测(人脸、文件、工牌)。
- 计价:视频输入 $1.75/小时;图像输入 $3/百万 token;输出 $7.50/百万 token;企业定制。分段请求按每个分段定义分别计费,请求涵盖多个动作类别时会成倍放大账单时长。
- 兼容:沿用 Pegasus SDK、提示词与 API 集成;批量分析仍由 Pegasus 1.5 承担。
二、核心技术定位
它完全跳出了传统视频理解模型面向媒体内容分析的传统赛道,首次将能力边界延伸到实体AI(Physical AI)机器人训练领域:
- 专门针对第一人称视角的视频做了专项优化,能精准识别从操作者视角拍摄的手部动作、工具交互、物体操作细节,解决了普通视频模型对第一人称画面识别精度差的痛点。
- 无需人工逐帧标注,可直接把原始的第一人称操作录像,自动拆解、清洗、结构化输出为机器人训练可用的标准化数据,大幅降低机器人示教数据的生产成本。
三、技术定位
公司在物理 AI 平台上的描述是:时间基元数据抽取(TBM),用户可自定义字段与结构;跨整段视频一致地识别手、对象、工具。高层 employee'a 并不控制机器人——TwelveLabs 自己在总览中把「描述」放在「恢复位姿与接触点所需的几何工作」之前。CEO Jae Lee 对 VentureBeat 的说法是:人的视频可以补充遥操作的机器人演示,但原始素材不能直接喂给机器人模型,必须先被结构化为可审阅的知识。
四、核心自动化工作流
官方公开了模型原生支持的五大开箱即用工作流,覆盖机器人训练数据处理的全链路:
1. 动作自动分割与标注
从原始视频中自动生成带精确时间戳的动作标签,精准标注任务步骤、交互物体、手物互动关系,完全对齐用户自定义的领域分类体系,直接输出标准化训练数据集。
2. 密集描述生成
自动生成包含空间位置关系、场景上下文、手部操作细节的丰富自然语言描述,直接用于训练语言条件驱动的机器人控制策略。
3. 视频质量自动评分
自动评估视频画面质量,快速过滤掉画面遮挡、镜头抖动剧烈、动作模糊的低质量素材,大幅减少人工筛选的工作量。
4. 异常与重复事件检测
自动识别视频中的异常操作、重复冗余片段,避免无效数据混入训练集影响机器人训练效果。
5. 敏感内容自动过滤
在数据输出前自动过滤敏感画面,满足企业数据安全合规要求。
五、性能与落地表现
官方公开的实测数据显示,这套模型的工业化处理能力已经达到实用级:
- 可在18小时内批量处理完约17年时长的第一人称原始视频素材,全程无单个视频处理失败,吞吐量远超传统人工标注模式。
- 优化了手部、物体、工具的跨镜头连续追踪能力,在长视频中也能保持稳定的实体识别一致性,不会出现目标丢失、识别跳变的问题。
- 原生支持同一API接口内混合处理图片与视频素材,可直接接入现有机器人训练的多模态数据流水线,无需额外改造数据链路。
- 整体处理成本相比前代大幅优化,高吞吐量场景下的单位数据处理成本显著降低,适合工厂自动化、家政机器人、工业装配等需要海量示教数据的场景大规模使用。
六、行业核心价值
此前机器人示教数据的生产高度依赖专业工程师逐帧标注,生产周期长、成本极高,严重制约了实体AI机器人的落地速度。Pegasus 1.6首次实现了第一人称视频到机器人训练数据的全自动转化,普通工人只需佩戴智能眼镜完成日常操作,模型就能自动把这些日常录像转化为机器人可学习的示教数据,大幅降低了机器人训练的数据门槛,加速实体AI在工业、家庭、服务等场景的落地节奏。
七、应用场景与落地
已有一家美国机器人训练数据公司用 Pegasus 评估工厂现场采集的第一人称视频质量、过滤缺陷数据并为入选片段加详细描述,据 TwelveLabs 称该公司每日处理数十万小时视频。对 cruising 团队的评估项建议是:标注准确率、动作边界漏检率、人工修正时间,以及被采纳的数据是否真提升了下游机器人任务的成功率——多产标注与更可靠的物理行为不是同一回事。
- TwelveLabs