具身数据平台使用手册

TRON 2 EDU版2026/9/23Markdown下载

具身智能数据平台使用手册

具身智能数据平台(以下简称“平台”)是逐际动力为 TRON 2 用户提供的一站式数据管理平台。机器人采集的数据从这里上传,经过标注、质检后导出为常用训练格式,也可以直接在平台上发起模型训练。

本手册按照数据的实际流转顺序编写。第 1~3 章帮助您快速熟悉平台;第 4~8 章按“采集 → 标注 → 管理 → 导出 → 训练”逐步展开;第 9 章面向项目经理,介绍项目与账号管理。

💡 平台的菜单和按钮会根据账号角色显示。如果您在页面中找不到本手册提到的某个功能,通常是当前账号没有对应权限,请联系项目经理开通。

1 平台简介

1.1 平台能做什么

环节 平台提供的能力
采集创建采集任务,分配采集员,跟踪采集进度
上传支持 MCAP、BAG、HDF5、LeRobot、视频、音频、图片等格式,支持脚本自动上传和从云存储批量导入
标注在数据工作台中按时间段标注动作语义,支持批量标注和审核流程
质检按规则自动检查图像帧率、丢帧、首尾静止等问题
导出导出为 LeRobot、HDF5、RLDS、MCap、JSON 等格式
训练选择 pi0、pi05、ACT 等模型,在 GPU 服务器上直接训练,并查看训练曲线与日志

1.2 角色说明

平台按角色分配功能。一个账号对应一个角色,项目经理可以为单个账号调整权限(见 9.3)。

角色 主要工作 重点阅读
项目经理创建项目和账号,分配采集、标注任务,管理数据,导出与训练全部章节
采集员按采集任务操作机器人录制数据并上传第 2 章、4.2 采集员操作、6.3 上传数据
标注员在数据工作台中为数据添加动作语义标注第 2 章、5.3 标注员操作、6.2 数据工作台
审核员检查标注质量,判定任务合格或退回第 2 章、5.4 审核员操作
访客只读查看被授权的内容第 2 章

1.3 任务状态

采集任务和标注任务使用同一套状态,任务列表顶部的标签页也按这些状态分类。

状态 含义 下一步
待开始任务已创建,尚未开始执行人开始工作后改为 工作中
工作中采集员或标注员正在执行执行人完成后改为 待检查
待检查等待审核员检查审核员判定为 检查合格 或 检查不合格
检查不合格审核员退回,需要返工执行人修改后重新提交为 待检查
检查合格审核通过提交后改为 提交数据
提交数据任务结束,数据进入可导出状态-

2 登录与界面

2.1 登录

  1. 在浏览器中打开 https://tron2data.limxdynamics.com/signin。推荐使用最新版 Chrome 或 Edge。
  2. 输入项目经理为您分配的账号和密码,点击 登录。勾选 保持登录状态 后,同一浏览器下次访问无需重新登录。
  3. 忘记密码时,点击 忘记密码 按页面提示重置,或联系项目经理重置。

2.2 界面布局

登录后进入 概览 页。界面分为三个区域:

  • 顶部栏:左侧为平台名称,右侧为账号菜单。
  • 左侧图标栏:四个一级入口,从上到下依次为 概览、数据、模型、管理。
  • 二级菜单:点击一级入口后展开,例如 数据 下有数据、上传、采集、标注、质检、字典、图表、导出、LeRobot。
一级入口 二级菜单 本手册章节
概览-2.3
数据数据、上传、采集、标注、质检、字典、图表、导出、LeRobot第 4~8 章
模型训练第 8 章
管理项目、用户第 9 章

点击右上角的账号名,可以打开 产品手册、选择主题(浅色/深色)、更改密码、切换语言 或 退出登录。

2.3 概览

概览页汇总您有权限查看的全部项目:

  • 顶部指标:数据总数、数据时长、标注总数、标注时长。
  • 分布图:项目数据分布、采集任务状态分布、标注质量分布(通过率/解决率)、数据质检结果。
  • 趋势图:数据增长趋势、数据质检结果趋势、标注增长趋势、标注质量趋势。

右上角可以 刷新 数据、切换 深色主题 或 全屏 显示,适合投屏展示项目进度。

3 快速上手

下面以“采集一批叠衣服数据并训练 pi05 模型”为例,串起完整流程。每一步的详细说明见对应章节。

  1. 准备项目和账号(项目经理):在 管理 → 项目 创建项目,在 管理 → 用户 为采集员、标注员、审核员创建账号。见第 9 章。
  2. 创建采集任务(项目经理):在 数据 → 采集 填写任务名、采集数量、平均时长和采集步骤,指定采集员。见 4.1。
  3. 录制数据(采集员):用 VR 遥操作 TRON 2,在数据采集软件中录制 MCAP 数据。见 4.2。
  4. 上传数据(采集员):在 数据 → 上传 选择项目后上传 MCAP 文件,或使用批量自动上传脚本。见 6.3。
  5. 创建标注任务(项目经理):在 数据 → 数据 勾选数据,点击底部 标注 创建任务。见 5.1。
  6. 标注与审核(标注员、审核员):标注员在数据工作台中按动作分段标注,完成后提交;审核员检查后判定合格或退回。见 5.2~5.4。
  7. 导出数据(项目经理):在 数据 → 导出 选择 LeRobot 格式导出。见第 7 章。
  8. 训练模型(项目经理):在 模型 → 训练 选择 pi05 和刚导出的数据集,创建训练任务。见第 8 章。

4 数据采集

4.1 项目经理操作:创建与跟踪采集任务

入口:数据 → 采集。

采集任务用于向采集员下达“采什么、采多少”的要求,并跟踪完成进度。顶部标签页按任务状态分类(全部、待开始、工作中、待检查、检查不合格、检查合格、提交数据),可按任务名称、采集员和任务状态筛选。

列表显示每个任务的数据进度、最近数据、动作集、所属项目、采集员、创建时间和任务状态。

4.1.1 创建采集任务

点击 创建采集任务,填写以下内容后点击 确定:

字段 说明
任务名 *建议包含场景和动作,例如“桌面叠T恤”
项目 *任务所属项目,上传的数据也将归入该项目
采集员执行任务的账号
机器人设备执行任务使用的机器人
采集数量 *需要录制的数据条数
平均时长 *每条数据的预期时长(秒)
任务备注 / 初始场景补充说明,例如物品摆放位置、光线要求
采集步骤按顺序填写每一步的采集动作、操作物体、操作目标和备注,可添加多步

4.1.2 任务详情

点击任务名进入详情页:

  • 采集数据:列出已关联到该任务的数据(文件名、大小、上传时间、状态)。如数据误关联,可点击 解除关联。
  • 设备:查看任务使用的机器人设备。
  • 概览:查看任务的基本信息和采集步骤。

右侧面板显示数据进度,并提供 在数据页查看全部、导出本任务数据、编辑任务、删除任务 等操作。

4.2 采集员操作

采集员在平台上接收任务、更新状态,在机器人端的 数据采集软件 中录制数据,再把录制好的 MCAP 文件上传到本平台。

4.2.1 处理采集任务

  1. 登录平台,进入 数据 → 采集,在 待开始 标签页中找到分配给您的任务,阅读采集步骤和要求。
  2. 开始采集前,将任务状态更新为 工作中。
  3. 按 4.2.2~4.2.5 的步骤录制数据,并按 6.3 上传到任务所属项目。
  4. 达到采集数量后,将任务状态更新为 待检查。
  5. 如被判定 检查不合格,根据审核意见补录或重录后再次提交。

4.2.2 连接机器人与采集软件

  1. 参照 📘 逐际动力 数据采集软件使用手册 中的“网络连接方法”连接机器人。
  2. 参照 📘 逐际动力 数据采集软件使用手册 中的“软件访问入口”打开数据采集软件(10.192.1.2:8080)。是否需要登录,请参照该手册的 功能边界 一节。
  3. 检查相机画面。出厂时已在程序中写入相机 SN,您无需配置。如果左右腕部相机画面对调,请将两个相机交换安装位置。

💡 如果相机经过维修更换,或您希望使用自己的相机,请参考 相机SN配置方法。

4.2.3 调整头部并进入遥操作

❗ 注意

请先调整头部,再进入遥操作模式。

  1. 将机器人切换到 Teleoperator 模式,在数据采集软件中查看头部相机视角是否合适。
  2. 如视角不合适,打开机器人管理平台 limx studio(10.192.1.4),将头部俯仰调到最低、偏航回中(pitch=1.04,yaw=0)。
  1. 参照 📘 TRON 2 用户手册 中的“遥操作准备”和“遥操作使用”,使机器人进入遥操作准备状态。

4.2.4 设置录制参数

参照 📘 逐际动力 数据采集软件使用手册 中的“数据录制”,在数据采集软件中设置以下参数:

参数 建议设置
文件名自拟,建议包含任务名和日期
Dominid一般填 0;多台设备共用网络时按需分配
格式mcap
topic推荐勾选以下 13 个 topic
1. /camera/left/color/image_resized/compressed sensor_msgs/msg/CompressedImage 2. /camera/right/color/image_resized/compressed sensor_msgs/msg/CompressedImage 3. /camera/top/color/image_raw/compressed sensor_msgs/msg/CompressedImage 4. /gripper_command sensor_msgs/msg/JointState 5. /gripper_state sensor_msgs/msg/JointState 6. /joint_command sensor_msgs/msg/JointState 7. /joint_states sensor_msgs/msg/JointState 8. /left_arm/ee_pose geometry_msgs/msg/PoseStamped 9. /left_arm/ee_pose_cmd geometry_msgs/msg/PoseStamped 10. /right_arm/ee_pose geometry_msgs/msg/PoseStamped 11. /right_arm/ee_pose_cmd geometry_msgs/msg/PoseStamped 12. /lifter/state 13. /chassis/twist

4.2.5 录制数据

录制前请确认:

  • 网络连接稳定。
  • 数据盘剩余空间充足。1 分钟数据约占用 800 MB~1.5 GB。

录制步骤:

  1. 控制机器人双臂进入准备姿态。
  2. 在数据采集软件中点击 概览 → 数据录制 → 开始录制,也可以使用 VR 手柄快捷键(见 📘 TRON 2 用户手册)。
  3. 按采集步骤完成操作。
  4. 控制双臂回到准备姿态。
  5. 点击 结束录制,或使用 VR 手柄快捷键。
  6. 重复以上步骤,直到达到采集数量。
  7. 参照 📘 逐际动力 数据采集软件使用手册 中的“数据页面”检查、下载或删除录制的数据。

4.2.6 采集注意事项

  • 操作前确认设备状态正常。
  • 采集过程中双臂不要交叉。
  • 严格按照任务的采集步骤操作。
  • 同一批数据请保持头部相机视角、桌面高度和环境光线一致。部署推理模型时也请尽量保持相同条件,以获得更好的执行效果。

5 数据标注

标注是为数据中的每一段动作写上自然语言描述(例如“fold T-Shirt / 叠T恤”),让模型学会把语言指令对应到具体动作。这是训练 VLA(Vision-Language-Action)模型的前提。

5.1 项目经理操作:创建标注任务

标注任务由项目经理创建,有两个入口:

  • 数据 → 数据:勾选要标注的数据,点击底部的 标注。
  • 数据 → 标注:点击 创建标注任务。

弹出的面板有三个标签页:

标签页 用途
创建任务填写任务名、项目、标注员(必填)和审核员,为所选数据新建任务。右侧可预览所选数据
追加任务把所选数据追加到已有的标注任务中
快速标注不创建任务,直接为所有所选数据写入同一条英文描述和中文描述。适合整条数据只有一个动作的情况

5.2 标注任务列表与详情

入口:数据 → 标注。任务以卡片形式显示,可按状态标签页、任务名、标注员、审核员和标签筛选。

点击任务进入详情页,包含四个标签页:

  • 标注数据:任务内的数据列表,显示标签、内容时长、标注时长、标注数量和检查结果。可对数据执行 开始标注、继续标注、清空标注、从任务中移除 或 删除数据。
  • 批量标注:一次性为多条数据写入标注,见 5.3.2。
  • 问题标注:汇总审核员标出问题的标注,显示问题内容、审核员、检查时间和修正时间,方便标注员逐条修正。
  • 标注统计:按标注描述统计出现次数。

右侧面板显示标注员、审核员和 当前流程(任务状态),并提供 编辑任务 和 删除任务。

5.3 标注员操作

5.3.1 精细标注

适用于一条数据包含多个动作,需要逐段标注的情况。

  1. 在 数据 → 标注 的 待开始 标签页中打开任务,将任务状态更新为 工作中。
  2. 在 标注数据 中选择一条数据,点击 开始标注,进入数据工作台(工作台介绍见 6.2)。
  3. 播放数据,找到动作开始的画面,点击 开始 或按 Q 键。可用空格键播放/暂停,用 ← / → 键逐帧定位。

以叠T恤为例,采集员双手靠近衣物时,即为动作开始:

  1. 动作结束时,点击 停止 或按 R 键。衣服叠好、双臂回到原位,即为动作结束:
  1. 在弹出的 添加标注 窗口中填写本段动作的描述:
    • ① 选择 技能,例如 fold {A}(折叠 {A})。常用技能直接点选,其他技能在右侧下拉框中搜索。
    • ② 选择 对象,例如 T-Shirt(T恤),替换技能中的 {A}。窗口底部会实时显示组合后的中英文描述,如 fold the T-Shirt / 折叠 T恤。如果技能包含 {B},还需要在 目标 行中选择。
    • ③ 如果动作执行失败,勾选 失败。
    • ④ 点亮 ⭐ 为本段动作的质量打分。
    • ⑤ 确认无误后,点击 添加标注。

如果下拉框中也找不到需要的对象,可以新增词条:

  • ① 点击对象下拉框右侧的 +。
  • ② 在展开的输入框中填写 英文 和 中文(必填),日文 可选,然后点击 创建字典。

新增的词条会保存到字典(见 6.5),之后可直接选用。技能、目标、状语也可以用同样的方式新增。

  1. 点击 添加标注 或按 Enter 键后,该段会按技能分组出现在左侧标注列表中(①),并显示开始时间;时间轴上也会出现对应的标注区间。一条数据有多个动作时,重复第 3~6 步。
  2. 点击 保存(②)或按 Ctrl+S。未保存的标注在离开或刷新页面后会丢失。
  1. 任务内全部数据标注完成后,将任务状态更新为 待检查,等待审核员审核。

5.3.2 批量标注

适用于大量数据都是同一动作的情况,例如 100 条数据都是叠T恤。在任务详情页的 批量标注 标签页中选择一种模式:

模式 说明 适用场景
快速标注为所有数据添加相同的标注描述简单重复任务,整条数据只有一个动作
批量复制标注将一条样例数据的标注按时间轴比例复制到其他数据一条数据包含多个动作,且各数据动作顺序一致
批量替换标注按规则批量替换描述、对象、目标等文案统一修正已有标注中的用词

批量复制标注 的操作步骤:

  1. 按 5.3.1 完整标注其中一条数据,作为样例,并保存。
  1. 回到任务详情页,打开 批量标注 → 批量复制标注,选择样例数据作为模板。
  1. 选择要复制到的目标数据,确认复制。平台会按每条数据的时长等比例换算标注时间段。例如样例中 10%~30% 时间段的标注,会落到目标数据同样的 10%~30% 位置。
  1. 复制成功后,在 标注数据 中抽查几条数据,确认时间段基本对齐。如有偏差,打开该数据手动微调。

5.3.3 标注时检查数据质量

标注时请同步检查三路相机画面是否完整、三维动画中的机器人姿态是否正常、采集动作是否符合要求。发现异常时,左键单击对应的标注段,选择异常标签:

  • 基础数据有误:相机画面缺失,或姿态数据异常。
  • 无效采集数据:采集动作不符合要求。
  • EE结果异常:末端执行器(夹爪或灵巧手)数据异常。
  • 姿态异常数据:采集动作或数据完整性不达标。

以下两种情况应标为 基础数据有误:

  • 数据曲线在开头或结尾断开:
  • 夹爪数据剧烈波动:

5.4 审核员操作

  1. 在 数据 → 标注 的 待检查 标签页中打开任务。
  2. 逐条打开数据,点击工作台上的 开启检查模式。可降低播放速度、放大时间轴,逐段核对自然语言描述是否准确、每段标注的起止帧是否落在动作的真实起止位置。起止帧需要全量检查。
  1. 发现问题时,为该标注段选择对应的异常标签。标出问题的标注会汇总到任务详情页的 问题标注 中,供标注员修正。
  1. 为每条数据选择质量标签:
    • 高质量:所有标注均正常,无异常。
    • 低质量:存在被标记为异常的标注,且审核确认无误。
  1. 全部数据审核完成后,更新任务状态:
    • 需要标注员修改时,选择 检查不合格,任务退回标注员。
    • 无需修改时,选择 检查合格。

任务的整体标注情况可以在 标注统计 标签页中查看:

6 数据管理

6.1 数据列表

入口:数据 → 数据。这里列出您有权限查看的全部数据,是最常用的页面。

6.1.1 查找数据

  • 顶部标签页按项目切换。
  • 可按数据名称、机器人、标签筛选,也可用 已分配/未分配、已标注/未标注 快速过滤。
  • 点击 高级搜索 可组合更多条件:采集员、采集任务、标注任务、项目、时长范围、上传时间范围、多个名称关键词、包含或不包含的标签、质检状态、标注匹配模式,以及 ROS Topic 名称、类型和频率范围。点击 重置 清除全部条件。

6.1.2 列表字段

字段 说明
文件名点击进入数据工作台
文件文件大小,点击可下载原始文件
时长 / 项目 / 上传者 / 上传时间数据的基本信息
采集任务 / 标注任务数据关联的任务
标注已有的标注数量
质检质检通过项/总项,例如 1/1。点击可查看每条规则的结果
播放快速预览数据

6.1.3 批量操作

勾选数据后,可使用页面底部的按钮:

  • 重命名:批量修改数据名称。
  • 统计:查看所选数据的标注统计(总体数量、无效标注、工作流程)和标签统计。
  • 标注:创建或追加标注任务,或快速标注,见 5.1。
  • 标签:为数据添加或移除数据标签。
  • 删除:删除所选数据。删除后无法在列表中找回,请谨慎操作。

底部还会显示当前存储空间用量。

6.2 数据工作台

在数据列表中点击文件名,或在标注任务中点击 开始标注,即可打开数据工作台。工作台用于回放数据并进行标注。

  • 左侧面板:
    • 标注:查看和编辑标签、统计和标注列表,点击 保存 保存标注。
    • 数据:数据的基本信息和标注状态。
    • 面板:添加或调整右侧显示的面板。
    • 主题:列出数据中的全部 ROS topic,以及每个 topic 的消息类型、频率(Hz)和消息数量。可用于确认录制是否完整。
    • 问题:列出数据中检测到的问题。
  • 中间画面区:默认显示三路相机画面和机器人三维动画。三维动画支持旋转视角和测量。
  • 底部时间轴:播放/暂停、跳到开头或结尾、循环播放、调整倍速,并显示当前时间戳。
  • 顶部栏:切换布局、显示或隐藏侧边栏、打开设置。

常用快捷键:

操作 快捷键
播放 / 暂停空格
逐帧前进 / 后退→ / ←
标注开始Q
标注停止R
添加标注Enter
保存Ctrl+S

6.3 上传数据

入口:数据 → 上传。

  1. 在页面顶部选择 项目 和 存储。数据将保存到该项目中。
  2. 根据数据类型选择上传方式。
❗ 注意

如果所选项目是共享项目,页面会提示“此项目是共享的,所有人都可以访问”。不希望数据被他人看到时,请选择自己的个人项目。

上传方式 说明
MCAP / BAG / HDF5上传单个或多个文件。TRON 2 录制的数据为 MCAP 格式
LeRobot 文件夹上传整个 LeRobot 数据集文件夹
视频可设置画质(20%/50%/70%/100%)、帧率(自动/10/15/30)以及是否包含音频
音频 / 图片上传音频或图片文件
批量自动上传在机器人终端运行脚本,自动监控指定目录并上传新文件,见 6.3.1
从云端导入从对象存储批量导入已有数据,见 6.3.2

6.3.1 批量自动上传

适合数据量大、需要持续上传的场景。上传脚本运行在机器人终端上,自动监控指定目录并上传新文件。

  1. 点击 批量自动上传,在 上传配置 中设置:
    • 数据类型:例如“单文件(mcap, bag, hdf5)”。
    • 使用父目录层级:默认 0 层。不同目录下有同名文件时(如不同日期下的 episode_1.mcap),可以把父目录名作为文件名前缀,避免命名冲突。
  2. 下载上传脚本 upload.py。
  3. 在终端中运行脚本:
    • upload:前台运行,持续监控指定目录并自动上传新文件,只需要普通用户权限。例如 python3 upload.py upload /data/camera。
    • install:安装为 systemd 后台服务,开机自启并自动上传新文件,需要 root 权限。例如 sudo python3 upload.py install /data/camera。
    • uninstall:停止并卸载已安装的服务,需要 root 权限。例如 sudo python3 upload.py uninstall。

6.3.2 从云端导入

适合数据已存放在对象存储中的场景。支持腾讯云 COS、阿里云 OSS、华为云 OBS、Amazon S3、Azure Blob Storage、Cloudflare R2、MinIO、RustFS 和火山引擎 TOS。

  1. 点击 从云端导入,选择云存储服务商,填写访问凭证和存储桶信息。
  2. 选择 导入数据类型(mcap、hdf5 或 lerobot 文件夹),填写 扫描前缀 指定目录。如需用上级目录名区分数据,勾选 数据名包含上级目录。
  3. 点击 测试扫描,确认能列出预期的文件。
  4. 点击 导入数据。

💡 测试扫描 只验证连接并列出文件,不会导入数据。导入任务在后台执行,平台不会保存您的云存储访问凭据,任务结束后会自动删除。

6.4 质检

入口:数据 → 质检。质检规则会在数据上传后自动运行,结果显示在数据列表的 质检 列。

6.4.1 添加质检规则

  1. 点击 添加规则。
  2. 填写以下内容:
    • 作用域/项目:规则对哪个项目生效。
    • 匹配的数据名:只对名称匹配的数据生效,支持通配符 *(任意多个字符)和 ?(单个字符)。留空表示全部数据。
    • 规则名、规则说明:便于识别规则。
    • 优先级:数字越小优先级越高,默认 100。同一数据匹配多条规则时,按优先级生效。
    • 启用:关闭后规则暂不运行。
    • 质检算法:选择平台提供的质检算法。
    • 详细规则:点击 使用模版 选择常用规则,或点击 添加规则 自定义。
  3. 保存规则。

平台提供以下规则模板:

模板 检查内容
图像帧率必须大于 10Hz相机帧率过低
图像帧最大间隔必须小于 500 毫秒相机丢帧或卡顿
开头关节静止不超过 3 秒录制开始后长时间未动作
结尾关节静止不超过 3 秒动作结束后未及时停止录制

6.5 字典

入口:数据 → 字典。字典是标注时可选的词条库,统一用词可以让标注更规范,也便于后续统计和训练。

字典按类型分为以下标签页:

  • 技能:动作,例如 pick、fold。
  • 对象:被操作的物体,例如 T-Shirt。
  • 目标:操作的目的地,例如 basket。
  • 状语:补充描述,例如 slowly。
  • 标注标签:标注段上使用的标签,例如 5.3.3 中的异常标签。
  • 数据标签:整条数据上使用的标签。
  • 标签分类:标签的分组。

每个词条包含英文、中文和日文,并显示使用次数和归属范围(全局、项目或同项目共享)。

新建词条:点击 创建字典,选择归属,填写英文和中文(必填),日文可选。可使用 批量添加 一次录入多条。

技能可以直接写成完整的一句话。如果想让同一种说法套用在不同物体上,可以使用占位符:{A} 表示动作的第一个对象(主要对象),{B} 表示第二个对象(目标位置或辅助对象)。例如 pick up {A} 可以应用为 pick up apple、pick up cup。使用占位符时,中英文中的占位符需保持一致(大写)。

其他操作:导出CSV 导出当前列表;勾选后可 删除选中字典;单个词条可 编辑 或 删除。

6.6 图表

入口:数据 → 图表。按项目查看标注数据的统计分析,帮助您了解数据分布是否均衡。

  • 动作关系:各动作与对象之间的关系。
  • 动作规划:动作的先后序列。
  • 动作时间:各动作的时长分布。
  • 前后依赖:动作之间的前后衔接关系。
  • 标注日历:按日期显示标注量。

7 数据导出

入口:数据 → 导出。

7.1 导出步骤

  1. 选择项目,用数据名称、机器人、标签等条件筛选数据。
  2. 选择导出格式标签页,在列表中勾选数据。可使用 抽样选取 随机选择一部分数据,用 显示字段 调整列表列。
  3. 在右侧设置导出参数。右侧同时显示已选择、已使用和可导出的数据量(导出额度)。
  4. 点击 开始导出。导出在后台执行,可在 导出记录 中查看进度。完成后点击 查看数据 或 复制链接 下载。

💡 数据量越大,导出耗时越长,通常需要数十分钟。建议按任务类型分批导出,便于管理和针对性训练。

7.2 导出格式

格式 内容 适用场景
LeRobot图像、语言指令与动作序列,见 7.3训练 pi0、pi05、ACT 等 VLA 模型(推荐)
HDF5分层存储的多模态数据,见 7.4自研训练框架
RLDSTFDS 数据集,可设置名称、版本和采样频率基于 TensorFlow 的训练框架
MCap原始 MCAP 文件及同名标注 JSON保留完整原始数据
MCap切块按标注段切分的 MCAP 文件只需要标注过的动作片段
JSON标注结果。可下载全部或导出选中,可选择包含未标注数据,也可上传 JSON 导入标注标注结果备份与迁移
表格 / 元数据数据列表和元数据信息数据盘点与统计
原始数据下载链接、数据名、项目名、创建时间用自己的工具批量下载原始文件
图像标注YOLO、COCO 或 VOC 格式视觉检测模型训练
时间对齐 / 丢帧检测CSV 报告排查多传感器时间同步和丢帧问题

💡 导出生成的下载链接有效期为 24 小时,过期后请在导出记录中重新获取。

7.3 导出为 LeRobot

LeRobot 是 Hugging Face 开源的机器人学习数据集框架。导出的数据包含视觉数据、自然语言指令和对应的动作序列,可以直接用于第 8 章的模型训练。导出前请先完成标注。

参数 说明
数据集ID数据集名称,默认 limx-tron2/lerobot_dataset。计划发布到 Hugging Face 时,请使用 用户名/仓库名 格式
采样频率10~30 Hz,默认 30。频率越低数据集越小
图像格式MP4(推荐,比 JPG 节约约 80% 存储空间)或 JPG
严格匹配自动裁切观测值和指令值,使二者一一对应,减少噪声
自动模糊人脸识别画面中的人脸并模糊处理,有助于数据合规
附带关节可选附带头部、底盘、灵巧手数据,默认不附带
LeRobot版本v3.0 存储效率更高,但部分模型尚不支持;v2.1 兼容性最好

下载与解压

导出完成后,在 导出记录 中下载 .tar.gz 压缩包:

建议在本地新建专用目录(如 ~/Downloads/mylerobot3)后解压:

解压后的文件遵循 LeRobot 数据集的标准目录结构:

Topic 映射规则

平台根据 topic 名称的后缀,自动映射到 LeRobot 字段:

  • 以 /joint_state 或 /joint_states 结尾的 topic,其 position 字段映射为观测值 observation.state,例如 /arm/joint_states。
  • 以 /joint_cmd 或 /joint_command 结尾的 topic,其 position 字段映射为动作 action,例如 /arm/joint_command。

如果自定义 topic 不符合上述规则,请在录制时将其重命名为符合规则的名称。目前导出界面暂不支持手动指定 topic 映射,如有特殊需求请联系技术支持。

7.4 导出为 HDF5

HDF5(Hierarchical Data Format version 5)是一种分层数据格式,便于组织多模态数据。导出时会将动作数据与标注的自然语言指令一起写入文件。

  • 分组数量:每个 HDF5 文件包含的数据条数。需要与原始数据一一对应时设为 1。
  • 采样频率(Hz):默认 30。频率越低数据集越小,但会影响训练精度。

导出后下载的文件如下:

数据结构

文件按分组命名(如 chunk_001.hdf5),采用树状结构:

  • /data 下按标注段划分为 episode_001、episode_002 等子组。
  • 每个 episode 的属性:task(英文指令)、task_zh(中文指令)、score(动作质量评分)。
  • 每个 episode 的数据:action(下发的关节指令)、observation.images.*(各视角的 JPEG 压缩图像)、observation.state(关节观测值)、observation.gripper(夹爪开合状态)。
HDF5 "./chunk_001.hdf5" {
FILE_CONTENTS {
 group      /
 group      /data
 group      /data/episode_001
 dataset    /data/episode_001/action
 dataset    /data/episode_001/observation.gripper
 dataset    /data/episode_001/observation.images.camera_01
 dataset    /data/episode_001/observation.images.camera_02
 dataset    /data/episode_001/observation.images.camera_03
 dataset    /data/episode_001/observation.state
 group      /data/episode_002
 dataset    /data/episode_002/action
 ......
 group      /meta
 }
}

8 模型训练

8.1 训练列表

入口:模型 → 训练。列表显示每个训练任务的 ID、模型、训练位置、项目、创建者、状态、创建时间和用时,可按状态、模型、项目和权重 ID 筛选。

8.2 创建训练

点击 创建训练,按页面顺序完成以下设置:

  1. 训练位置:选择 GPU 服务器和要使用的 GPU。页面顶部会显示您的训练额度。
  1. 模型:选择 pi0、pi05、ACT,或使用自定义镜像。
  2. 训练参数:常用参数如下,其余保持默认即可。
参数 说明
batch_size每步训练的样本数。显存充足时可适当调大
steps总训练步数,默认 10000
prompt统一的任务指令。留空时使用数据集中的标注指令
save_interval每隔多少步保存一次检查点
learning_rate学习率
fsdp_devices多卡分片训练使用的设备数,默认 auto
action_horizon模型一次预测的动作步数
  1. 训练数据集:可选择在平台导出的 LeRobot 数据集、已上传的 LeRobot 数据集、数据集下载链接,或 Hugging Face 数据集。
  1. 其他设置:填写备注;如需在已有训练的基础上继续训练,选择 从已有训练继续,并指定源训练和检查点权重;选择训练所属项目。
  2. 点击 创建训练任务。

8.3 训练详情

点击列表中的训练任务进入详情页。顶部显示训练状态、模型、框架、训练位置、数据格式和用时。

  • 训练指标:损失值(Loss)、梯度范数(Gradient Norm)和训练步数(Step)随时间变化的曲线。Loss 持续下降并趋于平稳,说明训练正常收敛。
  • 模型输出:训练保存的检查点,可下载用于部署推理。
  • 实时日志:训练过程的日志输出。勾选 自动刷新 可持续跟踪,点击 加载更早日志 查看历史日志。训练失败时,请先在这里查找报错信息。
  • 训练参数:本次训练使用的配置、数据集和参数。点击 编辑参数并重新训练,可在当前配置的基础上调整参数后重新发起训练。

8.4 LeRobot 数据可视化

入口:数据 → LeRobot。训练前,可以在浏览器中预览 LeRobot 数据集,确认画面、动作和语言指令是否正确。

  • 浏览导出数据:选择一个在平台导出的 LeRobot 数据集查看。
  • 浏览本地数据:选择本地目录或本地压缩包,或输入远程压缩包地址查看。

9 系统管理

本章面向项目经理。入口:管理。

9.1 项目管理

入口:管理 → 项目。项目是数据、任务和成员的组织单位,不同项目的数据相互隔离。

  • 我的项目:您创建或管理的项目。卡片显示项目的任务数、数据数和用户数,可 编辑 或 删除。
  • 共享项目:其他项目经理共享给您的项目,卡片上带有 共享 标记。
  • 勾选多个项目后,可使用 批量删除/合并。

创建项目:点击 创建项目,填写项目名称。勾选 置顶项目 后,该项目会在列表中置顶显示。

9.2 用户管理

入口:管理 → 用户。顶部标签页按角色分类(全部用户、访客、采集员、标注员、审核员、项目经理),可按关键字和项目搜索。

列表显示登录帐号、姓名、所属项目、角色、最后登录时间、创建时间和过期时间。每个账号可执行 编辑、权限、禁用、删除。

9.2.1 创建用户

  1. 点击 创建用户。
  2. 填写 登录帐号、姓名 和 密码。可点击 随机生成 生成强密码。
  3. 选择 角色 和 项目。
  4. 按需设置 过期时间。到期后账号将无法登录,适合临时采集员或外部标注人员。
  5. 保存,并将账号和密码告知对方。建议对方首次登录后通过账号菜单的 更改密码 修改密码。

9.2.2 批量创建用户

需要一次创建多个账号时,点击 批量新增:

  • 自动生成:选择角色和所属项目,填写用户名前缀和生成数量,点击 生成。
  • CSV 输入:按 用户名,密码,角色,项目 的格式逐行填写。可先 下载模板 或 生成示例 参考格式。

确认无误后,点击 确认创建。

9.3 调整用户权限

每个角色都有一组默认权限。如需为单个账号增减权限,在用户列表中点击该账号的 权限,勾选或取消对应功能后点击 保存。

权限按功能划分,通常分为“查看”和“管理/执行”两级,例如 查看标注任务、执行标注、审核标注、管理标注任务。点击 恢复全部角色默认 可将该账号恢复为角色的默认权限。

💡 人员离职或合作结束时,建议先 禁用 账号,确认无需保留后再删除。

10 常见问题

Q1:登录后看不到某个菜单或按钮?

菜单和按钮按账号权限显示。请联系项目经理确认您的角色,或在 管理 → 用户 → 权限 中开通对应功能。

Q2:上传的数据在数据列表中找不到?

请确认顶部选择的项目与上传时选择的项目一致,并点击 重置 清除筛选条件。数据较大时,上传后需要一段时间完成解析。

Q3:数据的质检显示未通过怎么办?

点击数据列表的 质检 列查看未通过的规则。常见原因是相机帧率过低、丢帧,或录制首尾静止时间过长。请检查网络和录制操作,必要时重新采集。

Q4:标注到一半离开了页面,标注还在吗?

未保存的标注会丢失。请养成按 Ctrl+S 随时保存的习惯。

Q5:批量复制标注后,时间段不准确?

批量复制按时长比例换算时间段,各数据动作节奏差异较大时会出现偏差。请抽查后手动微调,或对差异较大的数据单独精细标注。

Q6:导出的 LeRobot 数据缺少 observation.state 或 action?

请检查录制的 topic 名称是否符合 7.3 的映射规则,例如关节状态应以 /joint_states 结尾,关节指令应以 /joint_command 结尾。

Q7:导出的下载链接打不开?

下载链接有效期为 24 小时。请在 导出记录 中重新复制链接。

Q8:训练任务失败怎么办?

打开训练详情的 实时日志 查找报错信息。常见原因包括数据集格式与模型不匹配(可尝试导出为 LeRobot v2.1)、batch_size 过大导致显存不足。