Humanoid Everyday是首个面向开放世界的人形机器人大规模多模态数据集涵盖260个真实场景任务、超1万条演示轨迹与300万帧30Hz高频数据覆盖基础操作、移动操作、人机交互等七大技能类别并独家配备触觉、深度、LiDAR、IMU等九种感知模态资源链接GitHub 仓库https://github.com/physical-superintelligence-lab/Humanoid-EverydayHuggingFace 数据集https://huggingface.co/datasets/USC-PSI-Lab/humanoid-everyday论文 arXivHumanoid Everyday: A Comprehensive Robotic Dataset for Open-World Humanoid Manipulation项目主页https://humanoideveryday.github.io/一、数据集核心内容1.1 任务与数据规模维度详情总任务数260 个独特任务任务类别7 大类别基础操作、移动操作、人机交互、关节物体操作、工具使用、可变形物体操作、高精度操作每任务 Episode40 个演示片段总轨迹数10,300 条总帧数超过 300 万帧采集频率30 Hz数据总量~500 GB完整版约 1TB1.2 任务类别分布类别主要任务示例任务数量基础操作抓取放置、倾倒液体、推物体、拉物体、堆叠、旋转、开关操作44移动操作行走交互、行走抓取放置、行走清洁、行走搬运29人机交互递给人、从人接收、社交手势、持有并归还12关节物体操作翻转/铰链、按钮按压、抽屉与托盘、盖子、关门11工具使用清洁工具、冲击工具、除尘/橡皮擦、分配器10可变形物体操作折叠/展开、挤压/压缩、拉伸/翻转、抚平/调整8高精度操作精确放置、插入/取出、微按钮、精细堆叠51.3 硬件配置组件G1 配置H1 配置本体29-DoF27-DoF手部Dex3-1 三指灵巧手7-DoF × 2INSPIRE 六自由度手6-DoF × 2触觉传感✓ 指尖压力传感器✗视觉Intel RealSense RGB-DIntel RealSense RGB-D激光雷达Livox LiDARLivox LiDAR下面银色这款是 Unitree G1三指灵巧手黑色这款是 Unitree H1五指灵巧手 遥操作接口设备Apple Vision Pro手部映射dex-retargeting 系统将手指关键点映射到机器人灵巧手手臂控制Pinocchio-based 逆运动学算法将手腕姿态转为关节指令视觉反馈机器人双目 IR 图像实时传输至 VR 头显相机内参RealSense D435参数H1 数值G1 数值fx392.03189389.07278fy392.03189389.07278cx320.19580321.61887cy235.58174238.43630二、数据模态详解9 种模态2.1 低维数据状态与动作数据类型维度说明手臂关节状态14左右肩 Pitch/Roll/Yaw、肘、腕 Roll/Pitch/Yaw腿部关节状态13 (H1) / 15 (G1)髋 Yaw/Roll/Pitch、膝、踝、踝 RollG1 额外含腰部 Roll/Pitch手部关节状态12 (H1) / 14 (G1)H1: INSPIRE 手 6-DoF×2G1: Dex3-1 三指灵巧手 7-DoF×2手部压力传感18 (G1)每手 9 个传感器仅 G1IMU 数据4333四元数、加速度计、陀螺仪、RPY里程计3334位置、速度、RPY、四元数遥操作动作14逆运动学解算后的关节目标角度、前馈力矩、头部旋转矩阵、左右手位姿2.2 高维感知数据数据类型格式分辨率/规模文件格式RGB 图像uint8480×640×3PNG深度图uint16480×640PNGLiDAR 点云float64~6000 点/帧PCD三、数据下载方式3.1 下载渠道来源链接内容HuggingFaceUSC-PSI-Lab/humanoid-everyday完整数据集~1TB LeRobot 格式任务表格Google Spreadsheet按任务分类下载Lite 版本HuggingFace 子集仅状态与动作数据轻量版其中按任务分类下载有具体的任务类别划分如下图所示点击链接后会进行下载zip比如flip_open_a_diary_g1.zip3.2 两种数据格式对比格式大小适用场景内容LeRobot 格式~1TB完整训练、视觉策略包含所有模态RGB、Depth、LiDAR、状态、动作Lite 格式~GB 级快速实验、状态-only 策略仅关节状态与动作数据3.3 快速训练VLA数据Lite 格式如果只需要所有轨迹的状态和动作而不需要其他模态则可以使用的精简版数据集H1https://huggingface.co/datasets/USC-PSI-Lab/Humanoid-Everyday-H1G1https://huggingface.co/datasets/USC-PSI-Lab/Humanoid-Everyday-G1四、数据组织结构4.1 原始数据目录结构LeRobot 格式task_name/# 任务名称如 push_a_button├── episode_0/# 第 0 个演示片段│ ├── data.json# 低维传感器数据 文件路径索引│ ├── color/# RGB 图像序列│ │ ├── 00000.png │ │ ├── 00001.png │ │ └──... │ ├── depth/# 深度图序列│ │ ├── 00000.png │ │ └──... │ └── lidar/# LiDAR 点云序列│ ├── 00000.pcd │ └──... ├── episode_1/ │ └──... └──...4.2 data.json 字段结构{time:1234567890.123,// UNIX 时间戳秒robot_type:G1,// 机器人类型G1 或 H1states:{arm_state:[14floats],// 手臂关节角度leg_state:[13/15floats],// 腿部关节角度hand_state:[12/14floats],// 手部关节角度hand_pressure_state:[...],// 压力传感器数据G1imu:{quaternion:[w,x,y,z],accelerometer:[ax,ay,az],gyroscope:[gx,gy,gz],rpy:[roll,pitch,yaw]},odometry:{position:[x,y,z],velocity:[vx,vy,vz],rpy:[roll,pitch,yaw],quat:[w,x,y,z]}},actions:{right_angles:[7floats],// 右手目标角度left_angles:[7floats],// 左手目标角度sol_q:[14floats],// IK 解算关节角度tau_ff:[14floats],// 前馈力矩head_rmat:[3x3],// 头部旋转矩阵left_pose:[4x4],// 左手齐次变换矩阵right_pose:[4x4]// 右手齐次变换矩阵},image:color/00000.png,// RGB 图像相对路径depth:depth/00000.png,// 深度图相对路径lidar:lidar/00000.pcd// 点云相对路径}五、快速使用指南5.1 安装 DataLoadergitclone https://github.com/physical-superintelligence-lab/Humanoid-EverydaycdHumanoid-Everyday pipinstall-e.5.2 基础使用示例fromhumanoid_everydayimportDataloaderimportnumpyasnp# 加载数据集支持 .zip 或解压后的目录dsDataloader(~/Downloads/push_a_button.zip)print(f数据集总 Episode 数:{len(ds)})# 遍历数据forepisode_idx,episodeinenumerate(ds):forstep_idx,timestepinenumerate(episode):# 获取状态arm_statetimestep[states][arm_state]# (14,)hand_statetimestep[states][hand_state]# (14,) for G1imutimestep[states][imu]# 获取动作arm_actionstimestep[actions][sol_q]# (14,)# 获取图像rgb_imagetimestep[image]# (480, 640, 3)depth_maptimestep[depth]# (480, 640)lidar_pointstimestep[lidar]# (~6000, 3)# 批量加载batchepisode[0:4]# 加载第 0-3 帧5.3 数据可视化# 显示 RGB 图像ds.display_image(episode_idx0,step_idx1)# 显示深度点云RGB-D 融合ds.display_depth_point_cloud(episode_idx0,step_idx1)# 显示 LiDAR 点云ds.display_lidar_point_cloud(episode_idx0,step_idx1)5.4 H1 手部数据处理H1 使用 INSPIRE 灵巧手需要后处理转换ifrobot_typeH1:left_qpostimestep[actions][left_angles]right_qpostimestep[actions][right_angles]# 转换为实际关节角度right_hand_angles[1.7-right_qpos[i]foriin[4,6,2,0]]right_hand_angles.append(1.2-right_qpos[8])right_hand_angles.append(0.5-right_qpos[9])left_hand_angles[1.7-left_qpos[i]foriin[4,6,2,0]]left_hand_angles.append(1.2-left_qpos[8])left_hand_angles.append(0.5-left_qpos[9])hand_actionsleft_hand_anglesright_hand_angles# 12-dimelse:# G1 直接使用hand_actions(timestep[actions][left_angles]timestep[actions][right_angles])# 14-dim六、转换为 LeRobot 格式如需自行转换原始数据为 LeRobot 格式# 将解压后的数据按以下结构组织# dataset_name/# ├── task_category/# │ ├── task_name/# │ │ ├── episode_0/# │ │ └── ...python scripts/he2lerobot.py--dataset_pathdataset_name相关文章推荐《VLA 系列》分析 Ψ₀ | Psi0 | 通用人形机器人 | 移动 操作《VLA 系列》复现 Ψ₀ | Psi0 | 通用人形机器人 | 移动操作模型《VLA 系列》π0.5 | 流匹配 | 分层推理 | VLA《VLA 系列》复现 π0.5 | 数据采集 | 模型微调 | DROID《VLA 系列》复现 π0.5、π0-FAST、π0 | 环境搭建 | 模型推理《VLA 系列》π0 | 流匹配 | 开山之作 | VLA【VLA 系列】 πRL | 在线强化学习 | 流匹配 | VLA分享完成