机器人技能学习--数据集剖析
文章目录
- 前言
- 数据总览
- 数据介绍
- actions
- robot0_eef_pose
- robot0_eef_quat
- states
- object
- 参考资料
前言
一切为了能自己构建属于自己的数据集，所以，从现有数据集剖析入手。
目前，基于 MimicGen 官方提供的数据集，初始数据集有11组，其中，每组数据中，包含10个demo，每个 demo 的数据构成是一样的，只是轨迹和物体的姿态不一样。
数据总览
为简化工作流程，在本文中，若无特殊标记，均为针对 stack.hdf5 数据集的解析：
-data-- attr: env_args-- attr: total-- demo_0 # 10 组--- attr: model_file--- arrt: num_samples--- actions--- dones--- rewards--- states--- obs---- agentview_image---- object---- robot0_eef_pos---- robot0_eef_quat---- robot0_eef_vel_ang---- robot0_eef_vel_lin---- robot0_eye_in_hand_image---- robot0_gripper_qpos---- robot0_gripper_qvel---- robot0_joint_pos---- robot0_joint_pos_cos---- robot0_joint_pos_sin---- robot0_joint_vel-- demo_1-- ......-- demo_9-mask-- first_10
针对不同关键词及对应数据的解释，其中 / 表示未知：
| Key | Description | Dim | Get | Robomimic使用方法 | Note |
|---|---|---|---|---|---|
| env_args(attr) | 基础配置信息 | string | 人工定义 | / | 包含场景名称、控制器（OSC_POSE）等信息 |
| total(attr) | / | 1001 | / | / | / |
| model_file(attr) | 场景信息 | string | 人工定义 | / | 详细配置参数，包括机器人位置，物体位姿、属性等 |
| num_samples(attr) | 轨迹点数量 | 87 | 计算 | / | / |
| actions | 动作 | 87 * 7 | 示教 | / | 与控制器类型对应，表示(x, y, z, r, p, y, -1/1)，前6位表姿态，最后一位表示夹具状态，-1表示打开状态，1表示闭合状态 |
| dones | 是否完成任务 | 87 | / | / | 前82位为0，后5位为1 |
| rewards | 奖励参数 | 87 | / | / | 前82位为0.0，后5位为1.0 |
| states | 状态 | 87 * 45 | / | / | Mujoco表示状态的方式 * |
| object | 物体表示 | 87 * 23 | / | / | / |
| robot0_eef_pos | 机器人末端位置 | 87 * 3 | 示教 | / | x, y, z |
| robot0_eef_quat | 末端姿态 | 87 * 4 | 示教 | / | qw, qx, qy, qz |
| robot0_eef_vel_ang | 末端角速度 | 87 * 3 | / | / | |
| robot0_eef_vel_lin | 末端线速度 | 87 * 3 | / | / | |
| robot0_gripper_qpos | 夹具(关节)位置 | 87 * 2 | |||
| robot0_gripper_qvel | 夹具速度 | 87 * 2 | |||
| robot0_joint_pos | 7Dof关节位置 | 87 * 7 | |||
| robot0_joint_pos_cos | / | 87 * 7 | |||
| robot0_joint_pos_sin | / | 87 * 7 | |||
| robot0_joint_vel | 关节速度 | 87 * 7 |
数据介绍
actions
前 10 组数据为：
[0.11900000000000001, -0.027, -0.163, -0.0027573707047849894, 0.09558416903018951, 0.018667636439204216, -1.0]
[0.22200000000000003, -0.004, -0.247, -0.001246497966349125, 0.09782034158706665, 0.02653670310974121, -1.0]
[0.35500000000000004, -0.158, -0.35200000000000004, 0.01000046357512474, 0.08761297911405563, 0.04865993559360504, -1.0]
[0.398, -0.08, -0.515, 0.008693302050232887, 0.07150734215974808, 0.08536489307880402, -1.0]
[0.45799999999999996, -0.056999999999999995, -0.545, 0.006539663765579462, 0.05647878348827362, 0.11847471445798874, -1.0]
[0.439, 0.076, -0.594, -0.00130382867064327, 0.04076612368226051, 0.14484722912311554, -1.0]
[0.439, 0.11199999999999999, -0.599, -0.009466821327805519, 0.025265417993068695, 0.16476278007030487, -1.0]
[0.384, 0.181, -0.542, -0.00946812517940998, 0.02268858812749386, 0.1813860535621643, -1.0]
[0.344, 0.13699999999999998, -0.543, -0.010094424709677696, 0.01842835173010826, 0.19724716246128082, -1.0]
[0.303, 0.131, -0.553, -0.008746521547436714, 0.00791255198419094, 0.21429434418678284, -1.0]
robot0_eef_pose
前 10 组数据为：
[-0.10677228640382701, -0.007912818970765859, 0.9978511242350278]
[-0.10621354303360744, -0.006935816058219822, 0.9979395750460012]
[-0.10536093958873115, -0.006315994512394012, 0.9957368956011524]
[-0.10292113662390937, -0.006428708338244041, 0.9913538586666457]
[-0.09888318372052782, -0.006433863197485929, 0.985309696980578]
[-0.09367487660808188, -0.006261336940084016, 0.9782275947352779]
[-0.08798568739163559, -0.005638058018654422, 0.9705599359873655]
[-0.08209873483921205, -0.004743362303315956, 0.962652752983167]
[-0.07657093954923748, -0.003287089779160534, 0.9550401634889241]
[-0.07158081623646902, -0.001681889698740893, 0.9477366260562331]
robot0_eef_quat
前 10 组数据为：
[0.9987497020281128, -0.005340784012888566, 0.04969201885270823, 0.0011009029139912377]
[0.998764328193982, -0.0037890852616592205, 0.049544501455921285, 0.0008955085639633759]
[0.9989091769069497, -0.0020599392656113213, 0.04664085209166352, 0.0009186171488014434]
[0.999086829166481, -0.0004595555938569085, 0.04271319705277585, 0.0009377591661813914]
[0.9992429301494844, 0.0028395374951761805, 0.038795429035699124, 0.0006467294813540437]
[0.9993372250884551, 0.008313254230825684, 0.0354395485249257, 0.00019686784783459234]
[0.9993433766030909, 0.015947470957228708, 0.03253290289028111, -0.0003225509772582462]
[0.9992261832040216, 0.025115127092460332, 0.030262966085433277, -0.0006465867030544439]
[0.9989703212844835, 0.03539576655809851, 0.028364696315765554, -0.0009385656368913736]
[0.9985707083451394, 0.04633552838823607, 0.02661470086373277, -0.0011031509432972032]
states
ipdb> f['data']['demo_0']['states'][0]
array([ 0. , 0.00566507, 0.23094458, -0.01965714, -2.60890608,0.01534579, 2.93922448, 0.7684602 , 0.020833 , -0.020833 ,-0.07533379, 0.00950491, 0.83 , -0.89364334, 0. ,0. , 0.44877787, -0.02757463, 0.07990465, 0.835 ,0.59937795, 0. , 0. , 0.80046616, 0. ,0. , 0. , 0. , 0. , 0. ,0. , 0. , 0. , 0. , 0. ,0. , 0. , 0. , 0. , 0. ,0. , 0. , 0. , 0. , 0. ])
ipdb> f['data']['demo_0']['states'][-1]
array([ 4.30000000e+00, 5.59799918e-02, 7.21294844e-01, 7.20511426e-02,-2.15581180e+00, -1.09002756e-01, 2.89116760e+00, 6.91851452e-01,3.40614251e-02, -3.39791898e-02, -1.38892392e-02, 8.35409363e-02,8.69026681e-01, -8.13647281e-01, 1.67608256e-03, 2.73918668e-03,5.81349971e-01, -2.75145818e-02, 7.99156301e-02, 8.24690121e-01,5.99382437e-01, 8.13167534e-04, 8.85709985e-04, 8.00461897e-01,5.07794596e-02, -3.80039429e-03, -2.87840718e-02, -5.71935216e-02,-4.75354677e-02, 1.49040575e-01, 9.27308822e-02, 5.80022004e-02,-5.79495064e-02, 2.90350009e-03, -1.17890268e-03, 4.38212894e-03,-1.20456301e-01, 1.09043320e-01, 2.78845797e-04, -2.27485074e-05,4.12241415e-05, -1.23992816e-04, -4.21637708e-04, 1.86013180e-03,-6.15372096e-06])
object
ipdb> f['data']['demo_0']['obs']['object'][0]
array([-0.07533379, 0.00950491, 0.83 , 0. , 0. ,0.44877787, -0.89364334, -0.02757463, 0.07990465, 0.835 ,0. , 0. , 0.80046616, 0.59937795, 0.03143849,0.01741772, -0.16785112, 0.07919765, 0.08781747, -0.16285112,0.04775916, 0.07039975, 0.005 ])
ipdb> f['data']['demo_0']['obs']['object'][-1]
array([-1.38892392e-02, 8.35409363e-02, 8.69026681e-01, 1.67608256e-03,2.73918668e-03, 5.81349971e-01, -8.13647281e-01, -2.75145818e-02,7.99156301e-02, 8.24690121e-01, 8.13167534e-04, 8.85709985e-04,8.00461897e-01, 5.99382437e-01, 9.96283912e-03, 2.85510509e-03,-8.71079446e-03, -3.66250354e-03, -7.70201109e-04, -5.30473545e-02,-1.36253427e-02, -3.62530620e-03, -4.43365600e-02])
参考资料
robomimic-study
相关文章：
机器人技能学习--数据集剖析
文章目录 前言数据总览数据介绍actionsrobot0_eef_poserobot0_eef_quatstatesobject 参考资料 前言 一切为了能自己构建属于自己的数据集，所以，从现有数据集剖析入手。 目前，基于 MimicGen 官方提供的数据集，初始数据集有11组…...
Jenkins的Transfers路径怎么配置，解决Transfers配置不生效的问题
Transfers配置： 1.配置Source files： 要填写jar包的相对路径，从当前项目工作空间的根目录开始，看看我的工作空间你就懂了 ！如图 我填的是 parent/build/libs/parent-1.0.0.jar，即不要 fdw1/ 的前缀 2.配置Remote directory： 远程目标文件夹，也就是你jar包要放到远程…...
php安装扩展event 提示 No package ‘openssl‘ found 解决方法
在使用pecl编译安装最新版event模块的时候提示 No package openssl found , 可是本机是安装了openssl的, 编译时找不到, 大概率就是环境配置的问题了, 增加 OPENSSL_CFLAGS OPENSSL_LIBS环境变量即可解决. 异常提示信息: checking for openssl > 1.0.2... no configure: …...
基于SpringBoot的动物领养平台的设计与实现
文章目录 项目介绍主要功能截图：部分代码展示设计总结项目获取方式🍅 作者主页：超级无敌暴龙战士塔塔开 🍅 简介：Java领域优质创作者🏆、 简历模板、学习资料、面试题库【关注我，都给你】 🍅文末获取源码联系🍅 项目介绍 基于SpringBoot的动物领养平台的设计与实…...
计算机网络期末复习——计算大题（一）
个人名片： 🦁作者简介：一名喜欢分享和记录学习的在校大学生 🐯个人主页：妄北y 🐧个人QQ：2061314755 🐻个人邮箱：2061314755qq.com 🦉个人WeChat：V…...
2024年深度学习、计算机视觉与大模型面试题综述，六大专题数百道题目
DeepLearning-Interview-Awesome-2024 本项目涵盖了大模型(LLMs)专题、计算机视觉与感知算法专题、深度学习基础与框架专题、自动驾驶、智慧医疗等行业垂域专题、手撕项目代码专题、优异开源资源推荐专题共计6大专题模块。我们将持续整理汇总最新的面试题并详细解析这些题目&a…...
解读 $mash 通证 “Fair Launch” 规则，将公平发挥极致
Solmash 是 Solana 生态中由社区主导的铭文资产 LaunchPad 平台，该平台旨在为 Solana 原生铭文项目，以及通过其合作伙伴 SoBit 跨链桥桥接到 Solana 的 Bitcoin 生态铭文项目提供更广泛的启动机会。有了 Solmash，将会有更多的 Solana 生态的铭…...
06、docker 安装mysql8
Docker 安装 MySQL8 下载mysql8的镜像 docker pull mysql:8.0.32启动镜像 docker run -p 3307:3306 --name mysql8 -e MYSQL_ROOT_PASSWORD123456 -d mysql:8.0.32配置挂载 创建挂载目录 mkdir -p /docker/mysql8.0.32/copy配置文件到创建的目录下 docker cp mysql:/etc/mysql…...
魔改Stable Diffusion，开源创新“单目深度估计”模型
单目深度估计一直是计算机视觉领域的难点。仅凭一张 RGB 图像,想要还原出场景的三维结构,在几何结构上非常不确定,必须依赖复杂的场景理解能力。 即便使用更强大的深度学习模型来实现，也面临算力需求高、图像数据注释量大、泛化能力弱等缺点。 为了解决这些难题&a…...
使用JAVA Zookeeper构建分布式键值存储
在这篇文章中，我将使用 JAVA 和网络套接字构建一个简单的分布式键值存储。 我将展示如何在具有多个分区和复制的集群中使用 Zookeeper 作为协调服务。 本系统中Zookeeper服务的功能如下： 维护从服务器到分区的映射，即哪些服务器属于分区“i”。这些数据还可用于推断哪些服务…...
2023-12-19 LeetCode每日一题（寻找峰值 II）
2023-12-19每日一题 一、题目编号 1901. 寻找峰值 II二、题目链接 点击跳转到题目位置 三、题目描述 一个 2D 网格中的 峰值 是指那些 严格大于 其相邻格子(上、下、左、右)的元素。 给你一个 从 0 开始编号 的 m x n 矩阵 mat ，其中任意两个相邻格子的值都 不…...
gin框架使用系列之五——表单校验
系列目录 《gin框架使用系列之一——快速启动和url分组》《gin框架使用系列之二——uri占位符和占位符变量的获取》《gin框架使用系列之三——获取表单数据》《gin框架使用系列之四——json和protobuf的渲染》 一 、表单验证的基本理论 在第三篇中，我们介绍了如何…...
HackTheBox - Medium - Linux - Interface
Interface Interface 是一种中等难度的 Linux 机器，具有“DomPDF”API 端点，该端点通过将“CSS”注入处理后的数据而容易受到远程命令执行的影响。“DomPDF”可以被诱骗在其字体缓存中存储带有“PHP”文件扩展名的恶意字体，然后可以通过从其…...
C++ 字符串操作说明 续
一、strstr函数 extern char *strstr(char *str1, const char *str2); 1. strstr(str1,str2) 函数用于判断字符串str2是否是str1的子串。如果是，则该函数返回str2在str1中首次出现的地址；否则，返回NULL。 2. str1: 被查找目标 string …...
[情商-7]：如何回答没有标准答案的两难问题
目录 前言： 一、用“逻辑推理思维”回答两难问题 二、用“情绪思维”回答两难问题 1.1 关注提问者提出问题背后的情绪状态和情绪/情感诉求 1.2 常见的常见的情绪和情感诉求 1.3 女性情感分析 1.4 理解女性情感的语言 1.5 如何通过语言理解女性的情绪需求 三…...
对偶问题的基本性质
写于：2024年1月3日晚 修改于： 原规划与对偶规划 原规划对偶规划 max z C T X s.t. { A X ≤ b , 其中 X ( m ∗ 1 ) X ≥ 0 \begin{aligned} & \max \mathrm{z}\mathbf{C}^T \mathbf{X} \\ & \text { s.t. }\left\{\begin{array}{l}\mat…...
Google Chrome 现在会在后台扫描泄露的密码
谷歌表示，Chrome 安全检查功能将在后台运行，检查网络浏览器中保存的密码是否已被泄露。 如果桌面用户正在使用标记为危险的扩展程序（从 Chrome Web Store 中删除）、最新的 Chrome 版本，或者如果启用安全浏览来阻止 Go…...
【Matlab】PSO-BP 基于粒子群算法优化BP神经网络的数据时序预测（附代码）
资源下载： https://download.csdn.net/download/vvoennvv/88689096 目录 【Matlab】BP 神经网络时序预测算法 【Matlab】CNN卷积神经网络时序预测算法 【Matlab】ELM极限学习机时序预测算法 【Matlab】基于遗传算法优化BP神经网络 (GA-BP)的数据时序预测 【Mat…...
Linux 485驱动通信异常
背景 前段时间接到一个项目，要求用主控用485和MCU通信。将代码调试好之后，验证没问题就发给测试了。测试测的也没问题。 但是，到设备量产时，发现有几台设备功能异常。将设备拿回来排查，发现是485通信有问题ÿ…...
mybatis配置与标签大全
文章目录 mybatis配置与标签大全mybatis的配置属性（properties）设置（settings）类型别名（typeAliases）类型处理器（typeHandlers）对象工厂（objectFactory）插件&…...
Mysql的基本用法（上）非常详细、快速上手
上篇结束了java基础，本篇主要对Mysql中的一些常用的方法进行了总结，主要对查询方法进行了讲解，包括重要的多表查询用到的内连接和外连接等，以下代码可以直接复制到可视化软件中，方便阅读以及练习； SELECT *…...
使用Vite创建React + TypeScript（node版本为16.17.0，含资源下载）
PC端 安装指令： npm create vitelatest react-ts-pro -- --template react-tsVite是一个框架无关的前端工具链，可以快速的生成一个React TS的开发环境，并且可以提供快速的开发体验说明： 1. npm create vitelatest固定写法&#…...
Springboot集成RabbitMq二
接上一篇：Springboot集成RabbitMq一-CSDN博客 1、搭建项目-消费者 与之前一样 2、创建配置类 package com.wym.rabbitmqconsumer.utils;import org.springframework.amqp.core.Binding; import org.springframework.amqp.core.BindingBuilder; import org.spring…...
机器学习笔记 - 基于Python的不平衡数据的欠采样技术
一、简述 随着从不同的来源生成和捕获大量数据。尽管信息量巨大，但它往往反映了现实世界现象的不平衡分布。数据不平衡的问题不仅仅是统计上的挑战，它对数据驱动模型的准确性和可靠性具有深远的影响。 以金融行业欺诈检测为例。尽管我们希望避免欺诈，因为其具有高度破坏性，…...
facebook广告的基础知识
Facebook广告是在Facebook、Instagram、Audience Network等与Facebook相关的SNS和服务上投放的广告。以下是关于Facebook广告的基础知识： 广告类型： 静态图片广告：主要通过Facebook的新闻提要投放的图片广告，可以张贴产品和服务…...
java常见面试题：什么是异常？Java中的异常有哪些分类？
异常是一个汉语词语，读音为y chng，指非正常的；不同于平常的；非常。在Java中，异常（Exception）是程序在运行过程中出现的不正常情况，例如除以零、数组越界等。异常分为两大类ÿ…...
类的加载顺序问题-demo展示
面试的的时候经常会被问到包含静态代码块、实例代码块和构造器等代码结构的加载顺序问题，下面借用一个面试题，回顾一下类的代码加载顺序。 public class AooTest {public static void main(String[] args) {AooTest.f1();}static AooTest test1 new Ao…...
[蓝桥杯2020国赛]答疑
答疑 题目描述 有 n 位同学同时找老师答疑。每位同学都预先估计了自己答疑的时间。 老师可以安排答疑的顺序，同学们要依次进入老师办公室答疑。 一位同学答疑的过程如下： 首先进入办公室，编号为 i 的同学需要 si 毫秒的时间。然后同学问…...
【AIGC表情prompt】提示词练习技巧
表情类提示词练习技巧 医疗机器人，男人笑脸景深，数据，座标，12k,c4d渲染，高分辨率，,暖色调，高清对比 医疗机器人，男人微笑，景深，数据，座标…...
SpringBoot项目的三种创建方式
手动创建方式： ①：新建maven项目 ②：引入依赖 <parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.3.10.RELEASE</version>&l…...
视频弹幕网站建设/模板式自助建站
给大家炒个冷饭，是我在2003年写的一点心得。不过现在来看还是有启发意义的，虽然笔法有些稚嫩 实施分为这几个阶段：1字典准备，系统参数配置2客户化3使用培训4做报表做运行监控5升级更新版本这几部分都挺费时间。为什么？…...
做推广自己找网站/最近三天的新闻大事
速度映射图主要是为了得到每个像素相对于前一帧的运动矢量，其中一种方法是使用摄像机的深度纹理来推导。 推导过程如下： 先由深度纹理逆推出NDC（归一化的设备坐标）下的顶点坐标，利用VP矩阵（视角*投影矩阵&a…...
高端 网站建设/网络营销有本科吗
前言 最新版本 最全面的解析请关注该专栏 极狐GitLab CI/CD 关键词 .gitlab-ci.yml关键词完整解析（二） 上次我们介绍了 script, image, artifacts ,tags, cache ,stage ,when ,only/except。 学习了这几个关键词的用法，就不难配置一条简单的流水线。但如果要遇到更加复杂…...
泰兴做网站公司/免费拓客软件哪个好用
问题 使用Tomcat时候控制台总是打印一些中文乱码，虽然不影响使用但是看着就难受。 包括：Server、Tomcat Localhost Log、Tomcat Catalina Log 原因分析 Windows环境下，中文编码为GBK 解决方案 修改文件，文件路径：%…...
个人博客模板 wordpress/推广专员
1、状态更新 服务端InstanceInfo对象状态更新的流程和续约流程类似，不过该过程不再经过SpringCloud提供的InstanceRegistry类了，即SpringCloud没有再对状态更新过程进行扩展，即没有增加状态变更事件的广播。基本流程如下： Instan…...
网站建设活动策划/seo 培训教程
休假了，有时间测试下12C的新功能了，今天测试下分页查询。在12C之前，要想分页查询，我们通常会用下面的SQL。SQL> select *2 from (select a.*, rownum rn3 from (select id,4 username5 from top_test) a6 where rn < 10)7 w…...