【论文阅读】视觉里程计攻击

Adversary is on the Road: Attacks on Visual SLAM using Unnoticeable Adversarial Patch

一、视觉SLAM的不安全因素

根据论文的分析，视觉SLAM由于完全依赖于特征，缺少验证机制导致算法不安全。前端在受到干扰的情况下，会导致误匹配增加，而后端又无法抵抗这类攻击，所以整个框架对攻击图像产生的误匹配十分脆弱。

二、视觉SLAM的AoR攻击

这个攻击策略也是这篇文章的主要研究内容，简单来说作者设计了一种攻击图像的生成方法，并在车辆、室内机器人的定位上进行了测试。攻击的思路和之前设想的内容很像，就是将这个图像放置在相机的视野范围内，通过增加图像的误匹配进而实现SLAM的干扰。作者的关键放在了如何生成攻击图像。

从作者的介绍来看，其实这个攻击图像的生成方法可以理解为一个棋盘格与场景的风格迁移。作者利用FAST角点的提取策略，反过来制作了一个类似于标定板的黑白格图像，也就是上图中的Generated Error Pattern，通过这种方式同时保证设计的攻击图像能够被检测同时也能够容易导入误匹配，由于黑白格具有严重的重复性，这会导致在跟踪或者匹配时，攻击图像上的特征点产生大量的误匹配，从而干扰到后续的定位。

为了让受攻击者察觉不到攻击图像的存在，作者又在黑白格的基础上，使用了类似风格迁移的技术，来将黑白格融入到场景中。作者使用了深度学习的方法，首先将一个黑白格与内容图做融合，内容图可以是广告牌这种路边常见的内容，这一步设计两个优化量：内容损失和特征损失。分别对应内容图像上面的内容差异和融合后特征的差异。除了这两个差异，作者进一步考虑到实际场景中光照等不确定因素对图像的干扰，所以又加了一步动态调整，即通过人为采集的环境图像在进行一次调整，体现为优化公式中的环境损失，让最后的攻击图形同时具有攻击特征、内容以及环境三种风格。

从论文中给的图来看，作者的攻击方法就是将他们框架最后输出的图像放在路边，即可实现SLAM过程的干扰。其干扰的核心就是增加误匹配，实现途径是加入容易产生自身误匹配的图像，让图像中某个区域的误匹配增大，进而干扰前端的计算结果。产生攻击图的方法是人为设计的攻击图通过风格迁移生成一个带有攻击功能的广告牌。

三、攻击检测

作者在文章最后也针对设计的AoR攻击设计了解决方案，主要是三点：纹理提取、异常检测和跨帧优化。纹理检测是针对特征点的产生设计的，因为加入的路牌势必要比周围的纹理更加复杂，不然如何产生特征点，所以这一步作者使用WLD进行纹理的检测，主要是为了检测纹理比周围有异常复杂的位置。之后对这些区域进行异常检测，检测的过程依然是依赖于局部的纹路差异。最后作者还提了一嘴所谓的鲁棒性优化，说白了这个跨帧优化实际上就是在前端的局部优化过程，加入了一个置信度，以此来让检测出来的攻击匹配特征点能够在后续及时消除。

Perceptual Aliasing++: Adversarial Attack for Visual SLAM Front-End and Back-End

一、针对SLAM回环检测的攻击

这篇文章同样也是攻击相关，只不过针对的是视觉SLAM中的回环检测，而对于不使用回环检测的视觉里程计，文章中的攻击方法可能并没有什么用，甚至可能还能提高里程计的准确性。

论文的主要思路就是将纹理特别丰富的图像加入到场景中，尤其是放在本来纹理就不丰富的位置，通过这种方法，让SLAM系统误认为出现了回环，从而破坏整个观测关系。而在攻击图像的选择方面，作者提到并没有特别的设计，其实只要图像的纹理足够清晰，都可以用于这类攻击。

I Can See the Light: Attacks on Autonomous Vehicles Using Invisible Lights

一、使用非可见光进行的视觉攻击

这篇文章使用了红外光对无人驾驶系统中的相机进行攻击，一方面红外光属于非可见光，人看不见，所以这类攻击足够隐蔽；另一方面，红外光并不是不能激发相机，而是会在成像上面出现品红色的光斑，这类点很容易被视觉里程计识别为特征点，从而干扰正常的里程计工作。

根据作者的统计，少部分人能够看到部分的可见光，所以使用这类攻击策略最好的频率是780nm到800nm这段频率。攻击时需要使用一个红外光发射器，可以部署在路边或者安装在无人机上。

作者很大胆选择了特斯拉的model3进行攻击，直接对商用的无人驾驶进行了攻击，从结果来看，特斯拉的定位、物体识别都出现了很大的偏移。一方面作者将红外发射器布置在红绿灯模型上面，利用成像为品红色这一特点，假装是红灯，让车辆的控制产生了偏差。另一方面作者也尝试了利用红外来干扰相机，让车机系统疯狂报警进而影响用户体验。

而对于SLAM的攻击，作者选择在停车场进行测试，在停车场中提前放置了红外光的LED，从作者给的图来看，测试貌似是在光线不好的环境进行，这种场景下加入红外光干扰，由于品红光斑重复性较高且描述子差异小，会增加误匹配进而导致里程计的偏差，从实验来看整个的攻击基本都很有效。