激光雷达+rtk+rgb联合使用（4）

        因为一直在忙一些乱七八糟的事情，就没顾得上继续写，想着快速收尾算了。

        前面写到，我在点云的匹配上花了大量的时间，不断的调参数，换方法，一共几百个点云，想着先每50个匹配一次，得到几个大点云之后再进行匹配，这样可以消除一些误差，结果是有的可以有的不行，主要是旋转之后，本来就是角度大，再分区域之后，角度更大了。反正是各种歪招吧。但是有一点，几百个整体进行匹配的话，不仅时间长，而且拼起来后误差也非常大。因为采用的代码是每一个点云都要跟后面所有的点云进行匹配，得到全部的匹配矩阵，再进行后续一系列操作，所以时间长，后来我改为每个点云只跟后面n个点云匹配，这样效果和时间都能接受了。确实也解决不少了问题，但是某一组，怎么都不行。后来我一个一个的看了下，发现，有连续的两张，偏差非常大，这个应该是rtk在那个时候出现了一个波动导致的，所以不是我的问题，当正常情况下，没那么多叽叽歪歪的事情。

        最后就是吐槽一下那个rtk，当他非常好的时候，不需要匹配，直接按照参数旋转好放上去相加，就非常吻合，如果不稳定的话，靠软件匹配，不一定能行，有的时候反而将能直接吻合的弄得出现扭曲。总之就是，建议用好一点的rtk。

        我这边的测试是，沿着一个大型转盘录制，走一圈大概是5分钟，我走了3圈，然后直接旋转后相加，得到的大模型，还是非常完美的，路面没有出现拼歪，周围的建筑也还好。当然了，还是会有重影，但是感觉已经非常好了。这个时候，需要做的操作就是再增加一个rgb像头，给点云上色。

        其实到这里的时候，我就发现，这不就是港大的r3live嘛，人家已经比较完善了，还要自己折腾。

        增加相机，需要做的，还是标定。对于这部分，网上有很多现成的，但是他们都有个问题，需要用到ros，而且从某个博客看到，不是所有的激光雷达都支持，有品牌限制的，基于这两点，其实也是我和我的老板，尤其是后者只会python，他给我手绘了一下原理，反正就是找到几个相对应的点，然后就一番映射就行了，这么简单，自己写就行了，道理我都懂，但是不会写。

        这部分是找同事帮忙写的，这里就记录一下原理。就是先固定好雷达和摄像头；然后拍一个立方体，尽量多的拍到5个点，所以要斜着放，这个立方体要先测量好边长；再然后拿到摄像头得到的图片，人工标注5个点，再在点云中，人工去掉多余的点，只留下立方体相关的；最后用一些什么方法得到，不是录到3个面嘛，将3个面分别存储点云，然后得到面方程，然后三个面得到交点，就得到那三条棱，反正最后得到比较精确的点的坐标，然后做映射，什么中间的点设为（0,0,0），然后其他4个点都能得到，再跟2d图片的点坐标对应，最终得到一个映射矩阵。

        我需要做的就是，将3d点云通过这个映射转成2d，再将其与rgb图片对应，就能得到点云的颜色，最终看着还可以。因为不做这个了，具体的也就没搞清楚。

        接下来是碰到的问题，首先是，这个映射需要非常精确，错了一点，就会出现对不准的情况，尤其是，比如地面上立了一根杆子，上色的时候，可能会把杆子上色偏得比较远。

        还有，rgb和激光雷达的时间匹配，这个最麻烦，因为激光雷达是能得到他的时间的，且比较精确，rtk也有时间，精确到ms，但是摄像头这个，通过opencv录制还是ffmpeg，他其实得不到精确的每一帧的录制时间，甚至，这个时间都不是均匀的。所以刚开始，我是记录下命令启动的时间，然后估算一下延迟的时间，大概也就是几百毫秒嘛，然后一边做匹配，一边调整。我认为是，从命令执行到真实录制，这个时间应该是固定的，结果，只能说，也许吧。然后录制命令，有猫腻，比如说，本来想录制mkv，还有录制无损，没有编码解码什么的，这种的话，好像不能设置帧率，每秒帧不固定，后来改为什么编码，固定每秒10帧，刚开始还匹配的可以，因为走路录制的，后面改为行车录制，发现完全对不上，哪怕我把停车的时候，配的非常准，但是中间有几张就非常歪，好像是摄像头对高速行驶的时候，处理有点延时还是啥，比如我逐帧看的时候，他可能连续几帧一点变化都没有，然后突然一个变化，可能是摄像头不高端。最后是在视频顶部加一条黑边，上面用滤镜写上录制时间，然后用ocr识别这个时间，然后将这个时间和点云时间匹配，差的多的点云不要，此时效果好了很多，但是，后面如果车速提起来，可能会导致点云数量显著不足，而且，即便如此，配准还是不甚精准，但至少能用了。

至此，我就光速被离职了，带着一笔钱回家过年。未曾想到的结局。每当忙的抓头发的时候，烦的掉头发的时候，心里抑郁的时候，我也设想过这个场景，只是在未曾想到的时间，带着本以为没有的这笔钱，离开了。而且时间刚刚好，很快就过年了，年后试着考公考编，也算经历了一次，然后又考了下高校。最后都是体验了一下。休息了5个月，整理心情，新的工作方向是aigc，希望大家一起努力。

如果不是因为想赶紧写下一篇st webui，这个也不会急着结束，所以写的有点草率，后面有机会再完善下，添加一个效果图什么。