视觉SLAM与定位之一前端特征点及匹配

参考文章或链接

Image Matching from Handcrafted to Deep Features: A Survey
Image Matching across Wide Baselines: From Paper to Practice
Image Registration Techniques: A Survey
基于地图的视觉定位

特征点性能的评估

参考论文：

• A performance evaluation of local descriptors
  
• SuperPoint附录

重复率(repeatability)
角点检测平均误差
角点定位误差

简而言之， 一个好的特征点提取器， 在不同变化条件下（如视角、光照等）都能稳定准确地提取到同一空间3D点投影到图片上形成的2D点。

传统特征点和描述子（仅特征点或者特征点+描述子）

视觉特征点刚开始都是基于研究者思考而设计的，比如SIFT， SURF，ORB和Harris等，它们也被用于同一时期的视觉slam或定位中。
[Harris，1988] VINS
[Shi-Tomasi, 1994] MonoSLAM
[FAST,1998] ORB_SLAM, T265 VIO， MSCKF-VIO, OpenVSLAM, OKVIS, ROVIO, PTAM
[Blob and Corner] SOFT-SLAM
[SIFT, 1999] MSCKF
[FREAK,2012] Vision-Aided Localization For Ground Robots

传统描述子

[BRIEF, 2010] 与fast角点配合使用比较多， 如ORB_SLAM，LDSO等
[BRISK, 2011]:BRIEF的改进，具有尺度和旋转不变性

传统描述子的局限性：从人的感觉出发设计的，对计算机而言特异性不足，如无法应对光照视角等变化。

基于深度学习的特征点

CovDet
Quad-networks
AffNet
KeyNet
MagicPoint

基于深度学习的描述子

L2Net: 新的采样模式及误差， CVPR2017
DeepCD:浮点描述子与二值描述子互补，ICCV2017
Spread-out：学习描述子的空间分布，ICCV2017
HardNet:基于L2Net的改进误差， NIPS2017
SoSNet:基于二阶相似性正则化的学习型描述子，CVPR2019
GIFT：采用群卷集学习具有一定尺度和旋转不变性的描述子，NIPS2019
S2DNet：将描述子学习转化为分类问题，并采用由稀疏到稠密的方式进行训练，ECCV2020
CAPS：仅采用极线约束进行描述子学习。

基于深度学习的特征点+描述子

SuperPoint:自监督特征点与描述子学习，对光照具有一定鲁棒性， DX-SLAM，CVPR2018
LIFT:基于学习的不变特征变换，2016:
DISK：采用强化学习中的策略梯度法学习特征提取和描述， 对弱文理区域具有一定鲁棒性，NIPS2020
R2D2：针对特征点的可重复性和可靠性提出，NeurIPS2019
D2Net：局部特征共同检测与描述可训练的CNN，CVPR2019
ASLFeat：精确形状与定位的局部描述子学习，CVPR2020

基于深度学习的特征点及描述子往往是针对传统方法在实际应用中不足而提出的，其对光照、视角等的鲁棒性更加。

特征匹配

最近邻Knn匹配
FLANN匹配算法
GMS：利用运动平滑信息进行快速和鲁棒的特征匹配，CVPR2017
AdaLAM：兼顾对应点分布和仿射一致性的错误匹配剔除算法，图像分块做基于仿射变换RANSAC
SGM-Nets：使用神经网络进行半全局匹配，CVPR2017
PointCN：经过暴力匹配后，利用多层感知机提出错误匹配，CVPR2018
SuperGlue匹配：基于图神经网络和注意力机制的鲁棒匹配，CVPR2020
LoFTR：利用Transformer进行无特征提取器的局部特征匹配，CVPR2021