参考:
高翔——《视觉SLAM十四讲》第8讲 视觉里程计2
高翔——《视觉SLAM十四讲》系列讲解视频及PPT ch8
- 目录:
1 光流法
2 直接法
3 特征点法 vs 直接法
1 光流法
分为:
(1)稀疏光流:Lucas-Kanade即LK光流为代表,追踪角点或其他形式关键点
(2)稠密光流:Horn-Schunch即HS光流为代表,追踪所有点
其中,一般用稀疏光流法,下面只介绍LK光流。基于灰度不变假设,最后变成解一个超定最小二乘优化,解得的是相机运动估计
-
优化的初始形式——灰度不变假设:
不过因为这个会变成一个二元的方程,欠定,故一般取一个4*4的patch认为灰度不变,于是成了16个二元方程的方程组,成为一个超定问题。
实际应用时的流程:
(1)先对第一张图做特征提取(不用算描述子)
(2)对于后面的图,追踪这些点
这两步OpenCV中都有相应函数。这两步其实对应到特征法中,代替的是特征提取+特征匹配。而对于单目初始化(2D-2D)、PNP(3D-2D)、ICP(3D-3D),跟之前都是一样的。光流法结论和评价:
(1)没有用到相机本身的几何结构
(2)对于相机的旋转和图像的缩放无可奈何,因为取了一块patch,认为是不变的,但是旋转、缩放时patch是变的,所以光流法对于平动比较好
2 直接法
分为:
(1)稀疏直接法:只处理稀疏角点或关键点
(2)稠密直接法:使用所有像素
(3)半稠密直接法:使用部分梯度明显的像素也是基于灰度不变假设,最小化光度误差,最后变成某形式的优化问题,解得相机运动估计
-
优化的初始形式——最小化光度误差:
直接法结论和评价:
(1)梯度不明显的地方,对相机运动估计的贡献较小
(2)直接法需要大量的点做优化,所以提的点少的话效果不好
(3)像素灰度引导着优化方向,容易受到图像非凸性的影响,可通过金字塔减轻
(4)由于基于光度不变假设,易受光照影响
3 特征点法 vs 直接法
(1)特征点法提完特征之后图像就没用了;直接法更依赖于图像,所以图像质量需要比较好
(2)