Lafida多目数据集实测

Lafida 数据集

paper：J. Imaging | Free Full-Text | LaFiDa—A Laserscanner Multi-Fisheye Camera Dataset
官网数据：https://www.ipf.kit.edu/english/projekt_cv_szenen.php
官网：KIT-IPF-Software and Datasets - LaFiDa
标定数据下载：http://www2.ipf.kit.edu/~pcv2016/downloads/calibration.zip

0 简介

该数据集由一个头戴式多鱼眼相机系统和一个移动激光扫描仪组合而成，还从采样率为 360
Hz 的动作捕捉系统中获得了精确的六自由度（6 DoF）真值姿态。

rigid_body系即动作捕捉系统坐标系，三个白色的是被动球形反向反射标记的校准棒，用于动作捕捉系统

在室内和室外环境中记录了多个序列，包括不同的运动特征、照明条件和场景动态。

所提供的序列由三台硬件触发完全同步的鱼眼相机和同一平台上的移动激光扫描仪拍摄的图像组成。总共提供了六条轨迹。每个轨迹还包括所有传感器的内在和外在校准参数及相关测量值。

此外，我们还将最常用的外置激光扫描仪工具箱推广到相机校准，以便与任意中央相机（如全向或鱼眼投影）配合使用。

基准数据集以知识共享署名协议（CC-BY 4.0）在线发布，其中包含原始传感器数据以及时间戳、校准和评估脚本等规格。

所提供的数据集可用于多鱼眼相机和/或激光扫描仪同步定位与绘图（SLAM）。

对比其他数据集，我们有多个视角的硬同步触发的相机数据：

1 采集设备

设备参数：雷达/相机/动作捕捉

1.1 激光扫描仪

Hokuyo（日本大阪）公司的 UTM-30LX-EW 激光扫描仪，激光脉冲波长为 λ = 905nm，角度分辨率为 0. 25 ◦，视场（FoV）为 270 ◦。距离精度在0.1 米至 10 米之间为 ±30 毫米。指定的脉冲重复频率为 43 kHz，即每秒捕捉 40 条扫描线（40 Hz）。Laserscaner提供的激光扫描仪数据包括每个3D点的扫描角度、距离和强度。为了保持测量数量的恒定，只使用第一次激光返回和第一次强度。因此，每次激光扫描仪旋转的最终测量数量是1080个。

1.2 多相机系统

多鱼眼相机系统（MCS）由多传感器和集成的FPGA组成，硬件触发的图像采集和图像预处理由该平台处理，因此所有图像都是像素同步采集的。

三个分辨率为 754×480 像素的 CMOS相机传感器连接到以 25 Hz 采样率运行的平台上。

Lensagon 鱼眼镜头（BF2M12520），焦距为 1.25 毫米，视场角约为185 ◦。

1.3 动作捕捉系统rigid_body

为了获取多传感器头盔系统运动的精确 6 DoF 地面实况，我们使用了一套运动捕捉系统
（OptiTrack Prime 17W），该系统配有八个硬件触发的高速摄像头。

该系统需要事先进行校准，方法是在摄像机观察到的范围内挥动带有三个被动球形反向反射标记的校准棒。由于校准棒的精确度量尺寸是已知的，所有运动捕捉摄像机的姿势都可以通过度量恢复。运动捕捉系统校准后，可通过三角测量法以 360 Hz 和亚毫米精度跟踪标记的 3 DoF 位置。要确定头盔系统的 6 DoF 运动，至少需要三个标记来创建一个独特的坐标框架。

多个标记的组合称为rigid body，我们系统的刚体定义如图 1d 所示。

2 标定

标定数据下载：http://www2.ipf.kit.edu/~pcv2016/downloads/calibration.zip 

Calibration/
├── Extrinsic_Laserscanner_to_MCS_Calibration 激光扫描仪到MCS中心外参
│   ├── cam2_to_scanner.mat
│   └── cam2_to_scanner.txt
├── Extrinsic_MCS_Calibration 各个相机到MCS中心外参
│   ├── MCS_calibration_cayley.txt
│   ├── MCS_calibration.mat
│   └── MCS_calibration.txt
├── Extrinsic_Rigid_Body_to_MCS_Calibration MCS到RigidBody中心外参
│   ├── MCS_to_RigidBody.mat
│   └── MCS_to_RigidBody.txt
└── Intrinsic_Camera_Calibrations 各个相机的内参
    ├── calib_results_back.txt
    ├── calib_results_left_cam2.txt
    ├── calib_results_right.txt
    ├── Omni_Calib_Results_back.mat
    ├── Omni_Calib_Results_left.mat
    └── Omni_Calib_Results_right.mat

2.1 内参标定（Intrinsic_Camera_Calibrations）

使用Ocam-Toolbox计算每个摄像头的内参，再配合一些改进。具体过程和改进的代码：GitHub - urbste/ImprovedOcamCalib: This is an add-on to the OCamCalib toolbox by Scaramuzza et al.​​​​​​P

2.2 相机外参（Extrinsic_MCS_Calibration）

三个相机到MCS中心（其位置由 OptiTrack 系统给出）的变换矩阵，MCS坐标系和cam2（left camera）方向一致，位置不一致。

2.3 激光外参（Extrinsic_Laserscanner_to_MCS_Calibration）

给出的是cam2到激光的矩阵变换。

2.4 rigid body外参（Extrinsic_Rigid_Body_to_MCS_Calibration）

给出的是MCS到rigid的外参，rigid坐标系的原点设置在第一球形刚体标记上。

3 数据

3.1 场景

outdoor 和 indoor

​

http://www2.ipf.kit.edu/~pcv2016/downloads/indoor_dynamic.zip 采集设备在房间里绕圈移动，人们在周围漫步。
http://www2.ipf.kit.edu/~pcv2016/downloads/indoor_static.zip 在房间里没有人四处走动静态场景，采集设备在房间内绕圈移动，然后上下移动。
http://www2.ipf.kit.edu/~pcv2016/downloads/outdoor_rotation.zip 中庭被外墙包围，天气多云，静态场景，采集设备绕其垂直轴旋转。http://www2.ipf.kit.edu/~pcv2016/downloads/outdoor_static.zip 中庭被外墙包围，天气多云，静态场景，录制两段数据，操作者从后到前、从左到右。http://www2.ipf.kit.edu/~pcv2016/downloads/outdoor_static2.zip 中庭被外墙包围，天气多云，静态场景，随机游走。
http://www2.ipf.kit.edu/~pcv2016/downloads/outdoor_large_loop.zip 中庭被外墙包围，天气多云，采集设备正在移出跟踪系统的范围，并以闭环方式围绕整个中庭移动，包含一个闭环。移动出跟踪系统的范围没有真值。

3.2 文件

内部时间戳：通用时间戳，可与其他传感器同步。
传感器时间戳：传感器的时间戳，不可用于同步。

• LS_Dist.txt

包含激光扫描仪和被照射表面之间的距离。
文件头部：内部时间戳* | 传感器时间戳** | 距离
距离以毫米为单位。

• LS_Dir.txt

包含点的方向。
文件头部：内部时间戳* | 传感器时间戳** | 方向角度
角度以度为单位。

• LS_Intensity.txt

包含每个点的强度。
文件头部：内部时间戳* | 传感器时间戳** | 强度

• Lspoint.txt  (数据包中并未找到)

包含激光扫描仪坐标系中的点坐标。
文件头部：时间戳* | Lspoint
坐标以米为单位。

• Quaternion.txt (数据包中并未找到)

包含传感器位置的四元数表示。
文件头部：内部时间戳* | （传感器位置）| （四元数：X Y Z W）
坐标以米为单位。

• Tracker.txt (数据包中并未找到)

包含刚体标记2的位置。
文件头部：内部时间戳* | NatNet时间戳 | （传感器位置）| （传感器坐标系X轴）| （传感器坐标系Y轴）| （传感器坐标系Z轴）
坐标以米为单位。

• 图片

三个鱼眼相机数据：/work/data/MultiCol/outdoor_static2
    ├── imgs
    │   ├── cam0
    │   ├── cam1
    │   └── cam2

•  rigid_body.txt

动作捕捉系统给出的结果，可做真值。
文件头部：内部时间戳（单位ms） | （传感器坐标系X轴）| （传感器坐标系Y轴）| （传感器坐标系Z轴）|（四元数：X Y Z W）
坐标以米为单位。
PS：轨迹中有些动态捕捉很差，建议剔除，比如：indoor_dynamic ：2228163，2234005～2234059
 

实际测试

1 MultiCol

cd src/MultiCol-SLAM && ./Examples/Lafida/multi_col_slam_lafida ./Examples/small_orb_omni_voc_9_6.yml ./Examples/Lafida/Slam_Settings_indoor2.yaml ./Examples/Lafida/calibration /work/data/MultiCol/outdoor_static2

第一个是字典文件的路径。

第二个是slam设置文件的路径。代码提供的四个配置文件差不过，需要修改traj.StartFrame和traj.EndFrame，其他的暂时不用动。

第三个是校准文件的目录，自动读取InteriorOrientationFisheyeXXX.yaml（内参）和MultiCamSys_Calibration.yaml（到MCS系统的外参），ps：和calibration压缩包提供的数据不太一样，我是用代码提供的内外参测试的。

第四个是图像的目录，解压对应的数据压缩包即可。

最后轨迹保留在MultiCol-SLAM/MKFTrajectory.txt中。

未完