全景视频实时拼接技术研究与实现

全景视频实时拼接技术研究与实现一文创作于：2023-04-12 11:47:54，全文字数：21801。

全景视频实时拼接技术研究与实现

��行旋转，最后将最大值那个扇形的方向作为该特征点的主方向。

5）构造surf 特征点描述算子

在surf 中，也是在特征点周围取一个正方形框，框的边长为20s（s 是所检测到该特征点所在的尺度）。该框带方向，方向当然就是第4 步检测出来的主方向了。然后把该框分为16 个子区域，每个子区域统计25 个像素的水平方向和垂直方向的haar 小波特征，这里的水平和垂直方向都是相对主方向而言的。该haar 小波特征为水平方向值之和、水平方向绝对值之和、垂直方向之和、垂直方向绝对值之和。

这样就会导致每个小型区域就有了4 个值，所以每一个特征点都是64（16×4）维的向量，和sift 算法[5]相比，向量维度减少了一半，这个优势在特征匹配过程中会特别明显，会大大加快匹配速度

（3）FLANN 特征匹配

FLANN 是指Fast Library for Approximate Nearest Neighbors。在高维空间中，这个搜索库常用来进行快速近似最近邻搜索，它包含了一个集合的算法，用这些算法对数据集进行最近邻搜索，也用来为系统自动选择最佳的算法和最佳参数。

对于一个高维特征，可以发现在计算机视觉中，找到待匹配数据中的最近邻的匹配点的计算代价是昂贵的。对于高维特征，FLANN特征匹配比一般的匹配算法更有效、更快速。

用SURF 算法提取特征点之后，计算出特征向量，也即特征描述子，然后用FLANN 匹配器进行特征描述子的匹配，根据图像变换的原理，对匹配的结果集进行计算，得出变换矩阵，即单应矩阵。

2.5 图像融合

图像融合的目的是将两幅图片无缝地拼接在同一个平面[6]。

（1）直接平均法

在找到单应性矩阵之后，通过OpenCV 函数将物体图像经过透视变换，变换到目标场景中，计算出重叠区域的四个角坐标之后也就是计算出了重叠区域的边界，在这个重叠区域中，对应的像素点的灰度值等于场景图像和物体图像变换后的图像的像素的平均值，那么这样的融合技术就称为直接平均法，其中用I表示拼接后的最终图像，用I1和I2表示待拼接的图像，则有如下关系式(9)：

（2）加权平均法

与直接平均法类似，在图片的重叠区域中，对应的像素点的灰度值不再直接等于场景图像和物体图像变换后的图像的像素的平均值，而是等于场景图像和物体图像变换后的图像的像素先加权后进行平均[7-10]。用I为融合后的最终图像，用I1和I2表示待拼接图像，则有式(10)：

在式(10)中的w1代表待拼接图像重叠区域中属于左边目标场景中的像素对应的权值，w2代表待拼接图像重叠区域中属于物体图像变换后的图像的像素的权值，且w1+w2=1，其中0＜w1＜1，0＜w2＜1。为了实现重叠区域的平滑过渡，可以选择适当的权值，这样就可以基本上从源头消除拼接的缝隙。

根据实际融合效果，可以选择权重不同的分布函数w1、w2，加权平均法可以分为很多种其中最常用的加权平均法就是渐入渐出加权平均法[11-15]。这两个权重值由重叠区域的宽度width 来决定，假定w1=1/width，那么在重叠区域中，w1从1 开始逐渐减小到0，而w2从0 开始逐渐增大到1，最终就实现了图I1和I2之间的重叠区域的平滑过渡。

另外，在图像像素点I1(x,y)或I2(x,y)过低时，图像呈现的是黑色。即在使用渐入渐出加权平均法时，可以先检测待处理的像素点的值是否过低，若I1(x,y)＜K时，则将该点的值直接去掉，w1=0，K值可以根据试验情况进行调整。

3 实验结果分析

3.1 全景拼接的实验流程

根据实时视频拼接的流程编写程序，在Ubuntu 虚拟机中使用T5 的编译器进行交叉编译，将可执行文件下载到T5 实验板上。同时，准备程序运行所需要的库文件下载到T5 实验板目录/usr/bin 下，即可运行程序。下面展示运行程序过程中，图片的处理过程：

（1）摄像头捕捉画面

通过V4l2 将摄像头采集的图片传给T5，使用OpenCV 库文件获取图片，如图8 和图9 所示：

图8 图像采集左图

图9 图像采集右图

（2）投影变换

通过计算得出的单应矩阵将两幅图片投影到同一平面，如图10 所示：

图10 投影变换后的图片

图10 是把右图投影变换后，再将左图粘贴到右图变换后的平面。

（3）图像融合

通过渐入渐出加权平均法，将两幅图片进行融合，融合后的图片如图11 所示。

图11 融合后的图片

图11 将融合后的图片裁剪了右图投影变换后多余的黑色部分，展示了完美融合后的图片。

3.2 视频拼接

视频拼接是在图像拼接的基础上发展而来的[16-20]，以上展现了图像拼接的全过程，视频拼接程序只需要通过OpenCV 不断从摄像头获取图像数据，再经过算法部分的程序进行图像拼接处理之后，编码推流即可展示给用户。

3.3 图像融合算法的对比

本文最关键部分是图像的融合，在实验过程中，在采用改进的加权平均算法和不采用该算法的结果差异明显，进行如下实验：

（1）采集的图像

采集的3 幅图片如图12、图13 和图14 所示：

图12 融合前左图

图13 融合前中图

图14 融合前右图

（2）不采用加权平均算法融合

在不采用加权平均融合算法融合的图片如图15 所示：

图15 不采用加权算法融合后图片

（3）采用加权平均融合算法

本文在采用改进的加权平均融合算法后，拼接的图片如图16 所示：

图16 采用加权算法融合后图片

在采用加权平均融合算法后，拼接的缝隙基本看不到，视觉效果较好，具有很好的实用性。

4 结束语

本文利用全志T5 平台实现了多个视频的实时拼接。通过多个摄像头采集到数据之后，使用OpenCV 算法程序对数据进行处理，经过对图像的特征点提取、单应矩阵计算、透视变换以及融合处理之后，生成视野广的图像或全景图像。并对图像融合算法的改进，使得融合效果更好。但是，本次研究不足之处在于视频拼接时延部分稍大，会少许影响视频的观看体验，后续将进一步优化在全志T5平台的视频拼接设计。

《全景视频实时拼接技术研究与实现》在线阅读地址：全景视频实时拼接技术研究与实现