《LIO-SAM阅读笔记》3.后端优化
前言:
LIO-SAM后端优化部分写在了mapOptimization.cpp文件中,本部分主要进行了激光帧的scan-to-map匹配,回环检测以及关键帧的因子图优化。本部分主要有两个环节同步进行,一个单独开辟了回环检测线程,另外一个是lidar数据的回调函数。
功能简介:
- 1、scan-to-map匹配:提取当前激光帧特征点(角点、平面点),局部关键帧map的特征点,执行scan-to-map迭代优化,更新当前帧位姿;
- 2、闭环检测:在历史关键帧中找距离相近,时间相隔较远的帧设为匹配帧,匹配帧周围提取局部关键帧map,同样执行scan-to-map匹配,得到位姿变换,构建闭环因子数据,加入因子图优化。
- 3、关键帧因子图优化:关键帧加入因子图,添加激光里程计因子、GPS因子、闭环因子,执行因子图优化,更新所有关键帧位姿;
订阅:
- 1、订阅当前激光帧点云信息,来自FeatureExtraction;
- 2、订阅GPS里程计;
- 3、订阅来自外部闭环检测程序提供的闭环数据,本程序没有提供,这里实际没用上。
发布:
- 1、发布历史关键帧里程计;
- 2、发布局部关键帧map的特征点云;
- 3、发布激光里程计,rviz中表现为坐标轴;
- 4、发布激光里程计;
- 5、发布激光里程计路径,rviz中表现为载体的运行轨迹;
- 6、发布地图保存服务;
- 7、发布闭环匹配关键帧局部map;
- 8、发布当前关键帧经过闭环优化后的位姿变换之后的特征点云;
- 9、发布闭环边,rviz中表现为闭环帧之间的连线;
- 10、发布局部map的降采样平面点集合;
- 11、发布历史帧(累加的)的角点、平面点降采样集合;
- 12、发布当前帧原始点云配准之后的点云。
一:scan-to-map匹配
scan-to-map匹配出现在雷达数据的回调函数laserCloudInfoHandler中,其是激光里程计最基本的位姿估计方法,其进行的操作有:当前帧位姿的初始化、组建局部地图、进行当前帧到局部地图的匹配和位姿优化、用imu原始RPY数据与scan-to-map优化后的位姿进行加权融合。
1.位姿初始化
(1)如果是第一帧,用原始imu数据的RPY初始化当前帧位姿(旋转部分)
(2)后续帧,用imu里程计计算两帧之间的增量位姿变换,作用于前一帧的激光位姿(是因子图联合优化后的最优位姿),得到当前帧激光位姿 // note:利用imu里程计信息设置优化的初值
注意:此处的当前帧和上一帧之间的位姿变换 = 由上一帧的imu里程计位姿的逆*当前帧的imu里程计位姿。
2.局部地图map
(1)对最近的一帧关键帧,搜索时空维度上相邻的关键帧集合,降采样一下。这里采用的kdtree进行搜索,是将历史所有关键帧集合存入kdtree中进行搜索。
(2)对关键帧集合中的每一帧,提取对应的角点、平面点,加入局部map中。局部地图map中的点云超过一定数量时,就会清空下一帧的点云进行scan-to-map时进行重新创建。因此局部地图并不是每一帧点云到来时都进行重新,创建一次,只需要往点云地图中添加新的点云即可。
3.scan-to-map位姿优化
前面位姿初始化时,我们设置的当前帧的位姿主要是通过imu里程计得到,这里对上面的初始化位姿进行优化。
3.1 当前激光帧角点寻找局部map匹配点
(1)更新当前帧位姿,将当前帧角点坐标变换到map系下,在局部map中查找5个最近点,距离小于1m,且5个点构成直线(用距离中心点的协方差矩阵,特征值进行判断),则认为匹配上了。
(2)计算当前帧角点到直线的距离、垂线的单位向量,存储为角点参数。
3.2 当前激光帧平面点寻找局部map匹配点
(1)更新当前帧位姿,将当前帧平面点坐标变换到map系下,在局部map中查找5个最近点,距离小于1m,且5个点构成平面(最小二乘拟合平面),则认为匹配上了。
(2)计算当前帧平面点到平面的距离、垂线的单位向量,存储为平面点参数。
3.3 scan-to-map优化
上面的角点到直线的距离以及平面点到平面的距离,就是非线性优化中的约束项,并以此构建残差。
对匹配特征点计算Jacobian矩阵,观测值为特征点到直线、平面的距离,构建高斯牛顿方程,迭代优化当前位姿,存transformTobeMapped
3.4 与imu原始RPY数据加权融合
此处imu使用的是一个九轴的imu相比与六轴imu多出一个全局的imu位姿,此处imu原始RPY就是一个全局的imu位姿的roll、pitch和yaw角。
更新当前帧位姿的roll, pitch, z坐标;因为是小车,roll、pitch是相对稳定的,不会有很大变动,一定程度上可以信赖imu的数据,z是进行高度约束。
二:闭环检测线程
在此.cpp文件的节点中单独开辟了一个回环检测线程,在检测到回环后,在回环检测线程会对当前帧位姿进行一个icp的优化位姿。
1.选取候选闭环帧
在历史关键帧中查找与当前关键帧距离最近的关键帧集合,选择时间相隔较远的一帧作为候选闭环帧,此处同样使用的是kdtree的方法进行搜索。
这里时间的间隔设置的是30s,必须满足时间上超过一定的阈值,才认为是一个有效的回环。
2.提取当前帧特征点集合和组建候选帧区域map
提取当前关键帧特征点集合,降采样;提取闭环匹配关键帧前后相邻若干帧的关键帧特征点集合,降采样,目的是使用scan-to-map的方法进行优化位姿。
3.scan-to-map优化:icp
执行scan-to-map优化,调用icp方法,得到优化后位姿,构造闭环因子需要的数据,在因子图优化中一并加入更新位姿。
注意:
- 前面也有scan-to-map优化,是基于非线性优化的方法来进行优化的;此处采用的icp点云配准的方法,这种ICP方法视为基于线性优化的变体。
-
闭环的时候没有立即更新当前帧的位姿,而是添加闭环因子,让图优化去更新位姿。
通过调用PCL的icp库可以得到闭环帧到当前帧较为准确的位姿变换,用此位姿变换去矫正当前帧位姿,并作为约束因子加入到gtsam中,等待因子图优化环节一起优化。
三:因子图优化
因子图优化也是写在了雷达数据的回调函数laserCloudInfoHandler中,因子图优化联合了雷达里程计信息(包含IMU信息)、GPS信息和闭环信息一起进行优化。因子图优化是全局关键帧优化,前面的优化都是对当前帧的局部优化。
1.添加关键帧
计算当前帧与前一帧位姿变换,如果变化太小,不设为关键帧,反之设为关键帧,非关键帧则跳出,不进行因子图优化。
2.添加激光里程计因子
激光里程计因子是一个帧间约束,前一帧和当前帧(3.3中scan-to-map之后的位姿)的位姿变换。
3. 添加GPS因子
gps的数据会先被一个成熟的节点(在module_navsat.launch文件)处理,我们直接调用的gps的处理结果。
本项目中作者对gps的使用较为谨慎。
4.添加闭环因子
闭环因子就是就是闭环检测线程中计算的当前帧和闭环帧之间的位姿变换。
5.执行因子图优化
执行了因子图优化后,优化器中所有的关键帧位姿都进行了优化。
执行完因子图优化后,清空一下这一轮优化使用的因子图(里面的优化因子),历史数据不会清掉,ISAM保存起来了,只是清空因子图不是清空的优化器。
到此为之,不管是全局优化还是局部优化都完成了,有几个变量需要注意:
// note:当前位姿的一个最优估计(最准确的),通过以下两种方式更新:
// 1.如果这帧是普通帧,通过scan to map得到
// 2.若果这帧是关键帧,先通过scan to map更新,再通过因子图优化更新
transformTobeMapped[6]
// 历史关键帧位姿
// note:所有的雷达帧位姿会在这里更新 (如果是普通帧,则是因子图优化之前的san-map得到的位姿,如果是关键帧,则是因子图优化得到的位姿)
pcl::PointCloud<PointTypePose>::Ptr cloudKeyPoses6D;
pcl::PointCloud<PointType>::Ptr copy_cloudKeyPoses3D;
pcl::PointCloud<PointTypePose>::Ptr copy_cloudKeyPoses6D;
四:发布激光里程计
此处发布了一个增量式里程计信息,用于IMU预计分时使用。此外还有一个优化后的最优位姿,用于IMU里程计使用。
增量式里程计:当前帧(scan to map 后的位姿,没经过回环因子图优化)与前一帧(因子图优化后的位姿)之间的位姿变换 (这是一个平滑的结果)。
相关文章:
《LIO-SAM阅读笔记》3.后端优化
前言: LIO-SAM后端优化部分写在了mapOptimization.cpp文件中,本部分主要进行了激光帧的scan-to-map匹配,回环检测以及关键帧的因子图优化。本部分主要有两个环节同步进行,一个单独开辟了回环检测线程,另外一个是lidar…...
mac下jd-gui提示没有找到合适的jdk版本
mac下jd-gui提示jdk有问题 背景解决看一下是不是真有问题了方法一:修改启动脚本方法二:设置launchd环境变量 扩展动态切jdk脚本(.bash_profile) 背景 配置了动态jdk后,再次使用JD-GUI提示没有找到合适的jdk版本。 解决 看一下是不是真有问题…...
FlinkSQL窗口实例分析
Windowing TVFs Windowing table-valued functions (Windowing TVFs),即窗口表值函数 注意:窗口函数不可以单独使用,需要聚合函数,按照 window_start、window_end 分区,即存在:group by window_start,wind…...
18-网络安全框架及模型-信息系统安全保障模型
信息系统安全保障模型 1 基本概念 信息系统安全保障是针对信息系统在运行环境中所面临的各种风险,制定信息系统安全保障策略,设计并实现信息系统安全保障架构或模型,采取工程、技术、管理等安全保障要素,将风险减少至预定可接受的…...
Android 提取(备份)apk(安装包)
Android 提取(备份)apk(安装包) 一、通过安卓代码的方式 主要分三步: 根据应用找到包名根据包名获得apk提取apk 提取apk代码 private static final String BACKUP_PATH "/sdcard/backup1/"; private static final String APK ".apk";pri…...
gRPC-Go基础(4)metadata和超时设置
文章目录 0. 简介1. metadata1.1 metadata结构1.2 metadata创建1.3 客户端处理metadata1.4 服务端处理metadata1.5 metadata的传输 2. 超时设置2.1 客户端输出超时信息2.2 服务端端接收超时信息 3. 小结 0. 简介 Go在多个go routine之间传递数据使用的是Go SDK提供的context包…...
语言模型:从n-gram到神经网络的演进
目录 1 前言2 语言模型的两个任务2.1 自然语言理解2.2 自然语言生成 3 n-gram模型4 神经网络语言模型5 结语 1 前言 语言模型是自然语言处理领域中的关键技术之一,它致力于理解和生成人类语言。从最初的n-gram模型到如今基于神经网络的深度学习模型,语言…...
docker compose 部署 grafana + loki + vector 监控kafka消息
Centos7 随笔记录记录 docker compose 统一管理 granfana loki vector 监控kafka 信息。 当然如果仅仅是想通过 Grafana 监控kafka,推荐使用 Grafana Prometheus 通过JMX监控kafka 目录 1. 目录结构 2. 前提已安装Docker-Compose 3. docker-compose 自定义服…...
kubeadm创建k8s集群
kubeadm来快速的搭建一个k8s集群: 二进制搭建适合大集群,50台以上。 kubeadm更适合中下企业的业务集群。 部署框架 master192.168.10.10dockerkubelet kubeadm kubectl flannelnode1192.168.10.20dockerkubelet kubeadm kubectl flannelnode2192.168.1…...
鸿蒙开发之android对比开发《基础知识》
基于华为鸿蒙未来可能不再兼容android应用,推出鸿蒙开发系列文档,帮助android开发人员快速上手鸿蒙应用开发。 1. 鸿蒙使用什么基础语言开发? ArkTS是鸿蒙生态的应用开发语言。它在保持TypeScript(简称TS)基本语法风…...
2702 高级打字机
因为Undo操作只能撤销Type操作,所以Undo x 实际上就是删除文章末尾x个字母。用一个栈即可解决(每个字母最多进出一次)。 这种情况下只需要设计一个合理的数据结构依次执行操作即可。 版本树:Undo x撤销最近的x次修改操作…...
yolov5旋转目标检测-遥感图像检测-无人机旋转目标检测-附代码和原理
综述 为了解决旋转目标检测问题,研究者们提出了多种方法和算法。以下是一些常见的旋转目标检测方法: 基于滑动窗口的方法:在图像上以不同的尺度和角度滑动窗口,通过分类器判断窗口中是否存在目标。这种方法简单直观,…...
Qt学习:Qt的意义安装Qt
Qt 的简介 QT 是一个跨平台的 C图形用户界面应用程序框架。它为程序开发者提供图形界面所需的所有功能。它是完全面向对象的,很容易扩展,并且允许真正地组件编程。 支持平台 xP 、 Vista、Win7、win8、win2008、win10Windows . Unix/Linux: Ubuntu 等…...
Anylogic Pro 8.8.x for Mac / for Linux Crack
Digital twins – a step towards a digital enterprise AnyLogic是唯一一个支持创建模拟模型的方法的模拟建模工具:面向过程(离散事件)、系统动态和代理,以及它们的任何组合。AnyLogic提供的建模语言的独特性、灵活性和强大性使…...
ROS无人机初始化GPS定位漂移误差,确保无人机稳定飞行
引言: 由于GPS在室外漂移的误差比较大,在长时间静止后启动,程序发布的位置可能已经和预期的位置相差较大,导致无法完成任务,尤其是气压计的数据不准,可能会导致无人机不能起飞或者一飞冲天。本文主要是在进…...
k8s网络类型
k8s中的通信模式: pod内部之间容器与容器之间的通信。 在同一个pod中的容器共享资源和网络,使用同一个网络命名空间。可以直接通信的。 同一个node节点之内,不同pod之间的通信。 每一个pod都有一个全局的真实的IP地址,同一个n…...
Seata 中封装了四种分布式事务模式,分别是: AT 模式, TCC 模式, Saga 模式, XA 模式,
文章目录 seata概述Seata 中封装了四种分布式事务模式,分别是:AT 模式,TCC 模式,Saga 模式,XA 模式, 今天我们来聊聊seata seata 概述 在微服务架构下,由于数据库和应用服务的拆分,…...
为什么设计制造行业需要数据加密?
设计制造行业是一个涉及多种技术、工艺、材料和产品的广泛领域,它对经济和社会的发展有着重要的影响。然而,随着数字化、智能化和网络化的发展,设计制造行业也面临着越来越多的数据安全风险,如数据泄露、数据篡改、数据窃取等。这…...
查看ios app运行日志
摘要 本文介绍了一款名为克魔助手的iOS应用日志查看工具,该工具可以方便地查看iPhone设备上应用和系统运行时的实时日志和奔溃日志。同时还提供了奔溃日志分析查看模块,可以对苹果奔溃日志进行符号化、格式化和分析,极大地简化了开发者的调试…...
怎么卸载macOS上的爱思助手如何卸载macOS上的logitech g hub,如何卸载顽固macOS应用
1.在App Store里下载Cleaner One Pro (注意,不需要订阅付费!!!白嫖基础功能就完全够了!!!) 2.运行软件,在左侧目录中选择“应用程序管理”,然后点…...
[特殊字符] 智能合约中的数据是如何在区块链中保持一致的?
🧠 智能合约中的数据是如何在区块链中保持一致的? 为什么所有区块链节点都能得出相同结果?合约调用这么复杂,状态真能保持一致吗?本篇带你从底层视角理解“状态一致性”的真相。 一、智能合约的数据存储在哪里…...
CTF show Web 红包题第六弹
提示 1.不是SQL注入 2.需要找关键源码 思路 进入页面发现是一个登录框,很难让人不联想到SQL注入,但提示都说了不是SQL注入,所以就不往这方面想了 先查看一下网页源码,发现一段JavaScript代码,有一个关键类ctfs…...
边缘计算医疗风险自查APP开发方案
核心目标:在便携设备(智能手表/家用检测仪)部署轻量化疾病预测模型,实现低延迟、隐私安全的实时健康风险评估。 一、技术架构设计 #mermaid-svg-iuNaeeLK2YoFKfao {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg…...
安宝特方案丨XRSOP人员作业标准化管理平台:AR智慧点检验收套件
在选煤厂、化工厂、钢铁厂等过程生产型企业,其生产设备的运行效率和非计划停机对工业制造效益有较大影响。 随着企业自动化和智能化建设的推进,需提前预防假检、错检、漏检,推动智慧生产运维系统数据的流动和现场赋能应用。同时,…...
是否存在路径(FIFOBB算法)
题目描述 一个具有 n 个顶点e条边的无向图,该图顶点的编号依次为0到n-1且不存在顶点与自身相连的边。请使用FIFOBB算法编写程序,确定是否存在从顶点 source到顶点 destination的路径。 输入 第一行两个整数,分别表示n 和 e 的值(1…...
在Ubuntu24上采用Wine打开SourceInsight
1. 安装wine sudo apt install wine 2. 安装32位库支持,SourceInsight是32位程序 sudo dpkg --add-architecture i386 sudo apt update sudo apt install wine32:i386 3. 验证安装 wine --version 4. 安装必要的字体和库(解决显示问题) sudo apt install fonts-wqy…...
A2A JS SDK 完整教程:快速入门指南
目录 什么是 A2A JS SDK?A2A JS 安装与设置A2A JS 核心概念创建你的第一个 A2A JS 代理A2A JS 服务端开发A2A JS 客户端使用A2A JS 高级特性A2A JS 最佳实践A2A JS 故障排除 什么是 A2A JS SDK? A2A JS SDK 是一个专为 JavaScript/TypeScript 开发者设计的强大库ÿ…...
WPF八大法则:告别模态窗口卡顿
⚙️ 核心问题:阻塞式模态窗口的缺陷 原始代码中ShowDialog()会阻塞UI线程,导致后续逻辑无法执行: var result modalWindow.ShowDialog(); // 线程阻塞 ProcessResult(result); // 必须等待窗口关闭根本问题:…...
认识CMake并使用CMake构建自己的第一个项目
1.CMake的作用和优势 跨平台支持:CMake支持多种操作系统和编译器,使用同一份构建配置可以在不同的环境中使用 简化配置:通过CMakeLists.txt文件,用户可以定义项目结构、依赖项、编译选项等,无需手动编写复杂的构建脚本…...
Ubuntu系统多网卡多相机IP设置方法
目录 1、硬件情况 2、如何设置网卡和相机IP 2.1 万兆网卡连接交换机,交换机再连相机 2.1.1 网卡设置 2.1.2 相机设置 2.3 万兆网卡直连相机 1、硬件情况 2个网卡n个相机 电脑系统信息,系统版本:Ubuntu22.04.5 LTS;内核版本…...
