全景视频实时拼接技术研究与实现

全景视频实时拼接技术研究与实现一文创作于：2023-04-12 11:47:54，全文字数：21801。

全景视频实时拼接技术研究与实现

��像按照图像拼接的步骤进行特征提取、匹配、融合，最终把拼接完成的帧图像再压缩成视频信息，这样就能完成视频的拼接工作。视频拼接的基本流程图如图5 所示：

图5 实时视频拼接的流程图

为了保证视频拼接的实时性和准确性，与一般的视频拼接的方法相比较，最终采取的视频拼接的方法如下四步：

（1）只需要从多个视频图像中捕获比较合适的图像，保存下来。

（2）根据第一步的图像进行配准操作。

（3）计算出四个摄像头图像之间的单应性矩阵，并且并存储在一个Mat 里面。

（4）在剩下的那些需要实时拼接的视频帧，就可以直接调用存储在Mat 中的单应性矩阵，从而简单地完成配准过程。

这样剩下的那些需要实时拼接的视频帧在拼接的时候就可以省去每次的特征提取配准的时间，只需利用透视变换矩阵进行图像变换拼接和图像融合两个步骤。同时本实验采用普通的日常使用的摄像头来完成视频的同步采集过程，不仅提高了计算效率，也增加了研究的实用性。

2.3 视频拼接技术实现

（1）摄像头结构

摄像头使用的是红外高清夜视视频模块（以下简称高清视频模块），该模块的镜头为6 mm，视角范围在60°，可以采用H264、MJPEG、YUY2 三种编码方式，具有非常优秀的室内室外效果，色彩逼真。高清视频模块带红外灯检测电路，支持外接红外灯板。并且支持UVC协议，MJPEG、YUY2 无需驱动，即插即用。采用三路摄像头的结构如图6 所示。

图6 摄像头结构图

图6 中使用三个摄像头作为拼接图像采集的设备。两幅图像拼接原理是使用两幅图相似的特征点进行提取，之后进行拼接一套流程。在此之前，需要找到两幅图像的重叠区域，当重叠区域达到30% 或以上时，找特征点效果会更好。

摄像头的视场角在60°时，两个摄像头的重叠视角在20°拼接效果会更好，如图6 中红色虚线和蓝色虚线交汇处。

2.4 图像单应矩阵计算

单应（Homography）是射影几何中的概念，又称为射影变换。它把一个射影平面上的点（三维齐次矢量）映射到另一个射影平面上。单应是关于三维齐次矢量的一种线性变换，可以用一个3×3 的非奇异矩阵H表示，这个矩阵H称为单应矩阵。使用这个矩阵，就可以将射影平面上的一个点投影到另一个平面上（图7 中的m投影到m`）。

图7 单应矩阵变换

线性变换：

平面上的点为三维齐次矢量，即：

计算单应矩阵需要通过两幅图片的预处理、图像配准等操作，具体如下：

（1）图像预处理

预处理是图像拼接过程中的一个重要环节。输入图像由于图像采集环境的不同，如光照明暗的程度还有相关设备性能的优劣等，往往存在有噪声、对比度不够等缺点。另外，距离远近、焦距大小等又使得图像出现各种各样的奇怪问题。为了保证特征点提取和特征点匹配过程的准确性和高效性，必须对图像进行预处理。常用的图像预处理有：灰度处理和滤波。

灰度处理：图像中的特征点与图像是彩色和灰色并没有关系，所以为了加快配准和融合的速度，可以先将相机获取到的彩色图像变成灰度图像，然后在灰度图像的基础上进行操作。

滤波：摄像机所采集的图像在成像、数字化以及传输过程中，难免会受到各种各样噪声的干扰，图像的质量经常会发生出人意料的退化，严重影响了整个图像的视觉效果。通常这些噪声干扰使得图像退化，表现为图像模糊、特征淹没，这会对图像分析产生不利，使所获得的图像质量较低。对这样的图像直接进行分析是比较困难的。抑制使图像退化的各种干扰信号、增强图像中的有用信号，以及将观测到的不同图像在同一约束条件下进行校正处理就显得非常重要。常用的滤波方法有：平滑滤波、中值滤波和高斯滤波，每种滤波都有自己的优缺点，根据噪声的类型不同选择不同的滤波方法。

由于本文使用OpenCV 库对图片进行处理，可以使用cvtColor 函数对图片做灰度处理，简单方便。

（2）特征点检测和特征向量计算

本文采用的特征提取算法是OpenCV 中自带的SURF（Speed Up RobustFeature，加速的鲁棒性特征）算法。OpenCV 中的SURF 特征提取算法的主要的五个步骤：构建Hessian 矩阵构造高斯金字塔尺度空间、利用非极大值抑制初步确定特征点、精确定位极值点、选取特征点的主方向、构造SURF 特征点描述子[4]。SURF 算法分为五个步骤：

1）构建Hessian 矩阵和高斯金字塔尺度空间

surf 采用的是Hessian 矩阵行列式产生的近似值图像，运算方便，检测速度较高。假设函数f(z,y)，Hessian矩阵H是由函数，偏导数组成。图像中的某个像素点的Hessian 矩阵，如式(3)：

即每一个像素点都能够求出一个Hessian 矩阵。

H矩阵的判别式如式(4)：

判别式的值就是H矩阵的特征值，所有的点可以根据判定结果的符号来分类，由高等数学可以知道，判断一个点是不是极值点，就是要判断判别式的取值是正还是负。

在SURF 算法中，用图像像素l(x,y) 即为函数值f(x,y)，选用二阶标准高斯函数作为滤波器，

通过特定核的卷积计算二阶偏导数，这样便能计算出H矩阵的三个矩阵元素Lxx、Lxy、Lyy，从而计算出H矩阵，如式(5)：

但是特征点必须具备尺度无关性，所以在进行Hessian 矩阵构造前，需要对其进行高斯滤波。这样，经过高斯滤波后再做Hessian 矩阵的计算，如式(6)：

L(x,t) 表示的是不同解析度下的一幅图像，可以利用高斯核G(t) 与图像函数I(x) 在点x的卷积来实现，其中高斯核G(t) 如式(7)：

其中t为高斯方差，g(x)为高斯函数。使用这种方法可以为图像中每个像素计算出其H行列式的决定值，并用这个值来判别特征点。为方便应用，Herbert Bay 提出用近似值来代替L(x,t)。权值的引入是为了平衡准确值和近似值的误差，权值随尺度变化，则H矩阵的判别式可表示为式(8)：

2）利用非极大值抑制初步特征点

将经过hessian 矩阵处理过的每个像素点和它邻近的3 维领域的26 个点进行大小比较，如果它是这26 个点中的最大值或者最小值，则保留下来，当做初步的特征点。

3）精确定位极值点

采用3 维线性插值法得到亚像素级的特征点，同时也去掉那些值小于一定阈值的点，增加极值使检测到的特征点数量减少，最终只有几个特征最强点会被检测出来。

4）选取特征点的主方向

统计特征点领域内的harr 小波特征。即在特征点的领域，统计60°大小的扇形内所有点的水平haar 小波特征和垂直haar 小波特征总和，haar 小波的尺寸变长为4s，这样一个扇形得到了一个值。然后60°扇形以一定间隔

提醒您：因为《全景视频实时拼接技术研究与实现》一文较长还有下一页，点击下面数字可以进行阅读！

《全景视频实时拼接技术研究与实现》在线阅读地址：全景视频实时拼接技术研究与实现