仪器信息网APP

选仪器、听讲座、看资讯

立即体验

当前位置：仪器社区 >基础知识专区 > 数据处理 > 帖子详情

无人机高光谱内置推扫影像快速拼接方法

卓立汉光

2019/10/30

私聊

数据处理

高光谱遥感具有光谱分辨率高、波段范围窄、图谱合一、连续成像等特点，能够区分出地物光谱的细微差别，探测到其他宽波段遥感无法探测的信息。因此，高光谱遥感在生态、大气、海洋、农业、林业、矿业等诸多应用领域具有非常大的优势。近年来随着成像光谱仪硬件技术不断发展，成像光谱仪的体积越来越小、重量越来越轻、成本越来越低，因而利用成像光谱仪获取高光谱影像更为方便、快捷。随着无人机技术的日益成熟，基于无人机平台的新型遥感技术异军突起，得到科研工作者的青睐，从而将成像光谱仪与无人机高度集成获取地物无人机成像高光谱影像成为新的研究热点。
然而由于无人机航拍受飞行高度，相机本身参数的影响，单张无人机影像所覆盖的区域面积不大，需要对多张影像进行拼接，才能有效地覆盖研究区域。无人机载高光谱影像图幅较小，为每幅影像单独添加控制点信息工作量大、耗时长，而对影像统一添加控制点信息将大大缩短工作时间，提高工作效率。近年来，学者们对无人机影像数据的拼接做了很多研究，主要方法有基于姿态参数（POS数据）的拼接、基于非特征的拼接和基于特征的拼接等，其中无人机影像的拼接大部分是针对RGB图像或者多波段图像，而针对无人机高光谱影像的拼接方法较少，特别是对于无人机高光谱内置推扫获取的高光谱影像数据，目前还没有研究者对其拼接方法进行研究。
鉴于目前对无人机高光谱影像数据拼接技术存在的不足之处，本文旨在研究一种低空无人机载高光谱影像自动拼接方法，其具有易于实现、拼接精度高、光谱畸变小等优点，可实现无地面控制点的无人机载高光谱影像的自动拼接，以解决当前单幅无人机载高光谱遥感影像图幅过小的问题。
1 仪器设备与数据处理流程
1.1 数据采集设备
本次试验地点在北京市大兴区南六环外黄村镇李村，无人机采用大疆无人机M600 Pro，在无人机平台上搭载的自主研发的高光谱成像仪GaiaSky-mini。无人机高光谱影像获取时间为2017年11月8日下午的12:00-14:00，天气为晴，无人机飞行高度为400米，采用的是2*4 binning方式获取高光谱影像（2是空间维的，4是光谱维），高光谱影像的空间分辨率约为20cm，此次飞行共获取24景高光谱影像数据，每景高光谱影像数据代表的地面幅宽约为190米*190米，面积约为36100平方米，其中每景高光谱影像数据之间的横向重叠率为50%，纵向重叠率为40%。
1.2 数据的预处理与分析
无人机高光谱影像的预处理在SpecView软件中进行，包括镜像变换、黑白帧校准、大气校正。
1.3 无人机高光谱影像拼接流程
对消除大气、水汽等因素影响的高光谱影像计算其波段信噪比，根据其信噪比的峰值筛选出特征波段，然后基于SIFT算法对选出的特征波段提取特征点并对特征点进行匹配，图像拼接过程中利用经纬度信息及墨卡托投影（Mercator）纠正图像的变形，同时利用重投影空三（Reproj）算法细化高光谱相机参数。在高光谱影像拼接之前选择是否对拼接图像进行匀色，最后得到拼接好的高光谱影像数据。
1.4 高光谱影像拼接效果检验
为了准确地验证高光谱影像拼接结果的有效性，提取了拼接结果重叠区域和非拼接图像相同经纬度的8个采样点的光谱反射率，利用光谱角填图（SAM）、波谱特征拟合分类法（SFF）及二进制编码（BE）对拼接前后、是否匀色的光谱曲线进行匹配与相似性计算，得到一个0-1的匹配度分值，结果总分值越高，则相似性越好。
2 高光谱影像拼接结果分析
2.1 高光谱拼接图分析
以高光谱拼接图像的任意三波段作为RGB（R:red,G:green, B:blue）伪彩色合成图为例，从图1可知，从总体上看，对图像特征点明显的区域，是否选择匀色对高光谱影像的拼接无显著差异。但在特征点不显著区域则图像显示差异较大，如图2可知，对拼接图像是否采用匀色对高光谱影像的“图”有较为显著的差异，显然在采用匀色对拼接结果的“图”效果更好，而匀色是否对高光谱影像的“光谱”有较大的影响，则需要进一步的分析验证。

图1 高光谱影像拼接前后效果图（以RGB伪彩色为例）

图2 高光谱影像重叠区域拼接匀色与否对比

2.2 高光谱影像拼接光谱分析
为了进一步验证高光谱影像拼接结果的有效性，本文提取了拼接结果重叠区域中典型地物（如植被、土壤、房屋等）的8个采样点的光谱反射率及拼接前2景图像对应位置的光谱反射率进行对比分析，这8个采样点的光谱反射率曲线如图3所示。图3中第一条光谱和第二条光谱代表的是拼接前2景图像重叠区相同位置的光谱反射率，未匀色和匀色分别代表的是未匀色和匀色拼接图像相应位置的光谱反射率。从图3可知，反射率较高的地物，其拼接前后的光谱重叠率较高，如第三类和第六类地物；而反射率较低的地物，其拼接前后的光谱差异较大，如第七类地物所示。总体而言拼接前后高光谱图像的光谱反射率曲线相似度非常高，拼接后其光谱反射率曲线保留了未拼接前高光谱图像的反射率曲线的大部分信息。

图3 8个采样点拼接前光谱曲线与拼接后光谱曲线对比分析

2.3 高光谱影像拼接前后光谱匹配度分析
在高光谱影像的实际应用中不仅注重空间信息更加注重其光谱信息，因此为了更为准确地验证拼接方法的有效性，分别选用光谱角填图（SAM）、波谱特征拟合分类法（SFF）及二进制编码（BE）对拼接前后、是否匀色的光谱曲线进行匹配与相似性计算，得到一个0-1的匹配度分值， SAM、SFF和BE三者总分值越高，则相似性越好，具体计算结果如表1所示。
从表1可以看出，在SAM方面，在8个采样点中，未匀色拼接结果图像的匹配度最小值为0.959，最大值为1，匀色拼接结果图像的匹配度最小值为0.958，最大值为0.995；在SFF方面，在8个采样点中，未匀色拼接结果图像的匹配度最小值为0.881，最大值为0.999，匀色拼接结果图像的匹配度最小值为0.807，最大值为0.995；在BE方面，在8个采样点中，未匀色拼接结果图像的匹配度最小值为0.942，最大值为1，匀色拼接结果图像的匹配度最小值为0.883，最大值为1；在SAM、SFF和BE三者总分值方面，在8个采样点中，未匀色拼接结果图像的匹配度最小值为2.826，最大值为2.999，匀色拼接结果图像的匹配度最小值为2.801，最大值为2.985，因此是否对高光谱图像的拼接结果采用匀色处理，对其光谱并无太大影响。
不同采样点之间，当利用第一条光谱作为基准对其他光谱曲线进行匹配分析时，得出的匹配结果与利用第二条光谱作为基准对其他光谱曲线进行匹配分析时不一样，这是因为两景图像虽然有着重叠区域，但是受空间分辨率的影响，并不能保证存在重叠区的高光谱图像，其相应像素代表的地面物体完全相同，因此光谱曲线存在差异是正常的。为减少两景图像重叠区相同像素光谱的差异性，在选择采样点时尽量选择周边较为均一的地物。

表1　影像拼接前后其光谱相似度评价

采样点1		光谱匹配度鉴定结果
		SAM	SFF	BE	总分
	第一条光谱
	第二条光谱	0.965	0.883	1	2.848
	未平滑	0.959	0.901	1	2.859
	平滑	0.958	0.897	1	2.856
	第二条光谱
	第一条光谱	0.965	0.889	1	2.854
	未平滑	0.971	0.881	1	2.853
	平滑	0.973	0.872	1	2.845
采样点2	第一条光谱
	第二条光谱	0.987	0.951	0.994	2.933
	未平滑	0.983	0.955	1	2.938
	平滑	0.983	0.949	0.994	2.927
	第二条光谱
	第一条光谱	0.996	0.993	1	2.989
	未平滑	0.987	0.930	0.994	2.911
	平滑	0.970	0.880	0.994	2.845
采样点3	第一条光谱
	第二条光谱	1	0.999	1	2.999
	未平滑	1	0.999	1	2.999
	平滑	0.995	0.995	1	2.985
	第二条光谱
	第一条光谱	0.995	0.990	1	2.985
	未平滑	0.995	0.990	1	2.985
	平滑	0.995	0.990	1	2.985
采样点4	第一条光谱
	第二条光谱	1	0.999	1	2.999
	未平滑	0.978	0.881	0.989	2.848
	平滑	0.968	0.882	0.972	2.821
	第二条光谱
	第一条光谱	0.968	0.886	0.972	2.826
	未平滑	0.968	0.886	0.972	2.826
	平滑	0.981	0.837	0.983	2.801
采样点5	第一条光谱
	第二条光谱	1	0.996	0.972	2.968
	未平滑	0.994	0.991	0.942	2.927
	平滑	0.994	0.981	0.883	2.859
	第二条光谱
	第一条光谱	0.991	0.931	1	2.922
	未平滑	0.985	0.903	0.994	2.882
	平滑	0.981	0.890	0.994	2.866
采样点6	第一条光谱
	第二条光谱	0.991	0.970	1	2.961
	未平滑	0.991	0.970	1	2.960
	平滑	0.978	0.927	1	2.905
	第二条光谱
	第一条光谱	0.991	0.971	1	2.961
	未平滑	0.987	0.956	1	2.944
	平滑	0.982	0.942	1	2.923
采样点7	第一条光谱
	第二条光谱	0.979	0.940	0.977	2.896
	未平滑	0.994	0.981	0.994	2.970
	平滑	0.990	0.969	0.994	2.954
	第二条光谱
	第一条光谱	0.979	0.936	0.977	2.892
	未平滑	0.989	0.968	0.983	2.940
	平滑	0.985	0.955	0.983	2.923
采样点8	第一条光谱
	第二条光谱	0.990	0.930	1	2.920
	未平滑	0.985	0.910	0.983	2.877
	平滑	0.981	0.899	0.983	2.863
	第二条光谱
	第一条光谱	0.996	0.974	1	2.970
	未平滑	0.990	0.949	0.983	2.923
	平滑	0.981	0.889	0.983	2.853

2.4 图像拼接效率对比
为了验证无人机高光谱影像的拼接效率，本文选取了两台笔记本的电脑，分别是Dell7520和ThinkPad T440P对24景、50景、120景、500景无人机高光谱影像进行拼接，如表2所示。研究结果表明，硬件配置较好的DeLL7520拼接效率远远高于硬件配置较差的ThinkPad T440P，在处理24景无人机高光谱影像拼接时，DeLL7520比ThinkPad T440P处理速度快4个小时；在处理50景无人机高光谱影像拼接时，DeLL7520比ThinkPad T440P处理速度快7.7个小时；在处理120景和500景无人机高光谱影像时，ThinkPadT440P处理速度显然更慢，甚至出现笔记本卡死/蓝屏重启，而DELL7520则正常拼接。

表2 硬件配置及图像拼接效率对比

笔记本		DELL7520	ThinkPad T440P
硬盘配置	CPU	i7-7700HQ	I7-4710MQ
	内存	64GB	16GB
	硬盘	SSD	SSD
	显卡	NVIDIA Quadro M2200，4GB	NVIDIA GeForce GT 730M＋Intel GMA HD 4600, 1GB
效率对比	24景	1小时	5小时
	50景	1.8小时	9.5小时
	120景	3.5小时	20小时，进程1/3
	500景	8.5小时	笔记本卡死

3 结论
本文对消除大气、水汽等因素影响的高光谱影像计算其波段信噪比，并根据其信噪比的峰值筛选出特征波段，利用SIFT算法对选出的特征波段提取特征点并对特征点进行匹配，墨卡托投影（Mercator）纠正图像的变形以及重投影空三（Reproj）算法细化高光谱相机参数的方法对无人机高光谱影像进行自动拼接并对拼接结果进行匀色，同时运用SAM、SFF和BE光谱匹配算法验证了高光谱影像拼接算法的可行性。研究表明本文提出的无人机高光谱影像拼接算法解决了当前单幅无人机载高光谱影像图幅过小的问题，且对无控制点的无人机载内置推扫式的高光谱遥感影像可实现自动拼接，且拼接效果好、精度高、光谱畸变小，研究结果为其他无人机载高光谱遥感影像的自动拼接提供借鉴，同时无人机高光谱影像的拼接结果可应用于大范围的高光谱遥感影像分类与识别、土地利用/覆盖分类、精细农业、环保、矿产矿物勘测等多种领域中。
本文参考文献：黄宇,陈兴海,刘业林,等.无人机高光谱内置推扫影像快速拼接方法.测绘地理信息,2019,44(05):24-28.