- · 《遥感学报》栏目设置[09/01]
- · 《遥感学报》数据库收录[09/01]
- · 《遥感学报》投稿方式[09/01]
- · 《遥感学报》征稿要求[09/01]
- · 《遥感学报》刊物宗旨[09/01]
复杂卫星图像中的小目标船舶识别(2)
作者:网站采编关键词:
摘要:图2 CNN结构示意图Fig.2 Schematic diagram of CNN 2.3 候选区域建议网络 候选区域建议网络RPN(Region Proposal Network)(Ren等,2017)可以依据CNN提取到的高层特征,在
图2 CNN结构示意图Fig.2 Schematic diagram of CNN
2.3 候选区域建议网络
候选区域建议网络RPN(Region Proposal Network)(Ren等,2017)可以依据CNN提取到的高层特征,在原图上框出船舶目标所在的候选区域,并且给出每个候选区域是否为船舶的置信度。RPN在最后一个卷积层输出的卷积特征图上滑动小窗口,小窗口与卷积特征图n×n的区域进行全连接,然后将该区域映射到一个低维的特征向量上,再将这个特征向量输入进两个并行卷积层 (边界框回归层和前后景分类层)进行边界框定位和目标初步判断,RPN的结构示意图如图3所示。
图3 RPN结构示意图Fig.3 Schematic diagram of RPN
为了训练RPN,需要为每个候选区域设定一个二值分类标签(是否为船舶),首先给以下两类候选区域标定正标签样本:与某个标定区域有最高的交集面积与并集面积之比IoU(Intersection over Union);与任意标定区域的IoU交叉比例超过0.65的候选区域。
以下标定为负标签样本:与所有标定区域的IoU交叉比例小于0.35的候选区域。其他的标签样本不参与RPN的训练过程。
RPN模型使用多任务损失函数进行训练,由边界框损失函数和分类损失函数构成,如式(1)
式中,i为一个候选区域在一个批处理子集中的下标,Nreg和Ncls为归一化参数,实验中设为128和1300,λ为平衡因子,用于权衡两个损失函数,实验中设为10。pi为候选框i是船舶目标的置信度,若候选框是一个正标签,其对应的真实区域标签为0。ti表示预测的候选区域的4个参数化坐标向量,是相对应的真实标定区域的4个坐标向量。
式(1)中的边界框的回归损失函数Lreg具体形式为
通过上述过程,实现边界框的修正及目标的判定,筛选出可靠度高的船舶候选区域,实现对前后景的判别及目标区域的定位。
2.4 负样本增强学习
通过对卫星图像样本的初步实验结果分析,当船舶目标有云雾遮挡时,所训练的网络模型会出现对目标漏检的情况;当有岸基干扰时,会将部分岸基背景识别为船舶,产生误检的情况。从2.3节可知,网络进行训练时,只用负样本(IoU<0.35)和正样本(IoU>0.65)进行训练,IoU在此之间的样本被弃用。这样选出的样本具有加快网络收敛速度的优势,但由于IoU在0.35和0.65之间的样本被弃用,导致了云雾及海岸背景的样本数量缩减,网络学习到云雾和海岸背景等负样本的特征不足,所训练的模型无法识别复杂海情中的船舶目标。为解决该问题,本文采用了一种负样本增强学习的方法,在样本数据集中加入了大量只含有云雾和海岸背景的图片,进行负样本扩充,增强网络模型对云雾及海岸背景的特征学习。后续的实验结果表明:采用的负样本增强学习方法,能够有效地提取到云雾及岸基背景等负样本的特征,一定程度上解决了云雾和岸基背景对船舶识别带来的干扰,避免了漏检和误检的情况。
2.5 细粒度识别
RPN网络可以筛选出可靠度高的船舶候选区域,RPN的分类层解决的是二分类问题,即船舶和非船舶的判定。下面就需要对前景中的船舶目标进行分类,实现船舶的细粒度识别。船舶的细粒度分类层结构示意图如图1中的Fast RCNN部分所示,最后的分类层所要解决的是多分类问题。通过多个全连接层的组合,将提取到的特征从高维数据映射到一个4元组中,将该4元组作为Softmax分类器的输入,输出值为候选区域中的船舶是货轮、邮轮、渔船、游艇的概率值,概率值越高,表明候选区域中的船舶为该类别的可能性越大,从而实现对船舶目标的细粒度识别。
网络中的RPN和Fast RCNN共享卷积特征,Fast RCNN使用RPN提供的高质量建议区域进行识别,大幅提高了识别的速度。船舶细粒度识别网络的训练和识别流程如图4所示。
图4 船舶识别网络训练和测试流程Fig.4 The training and testing process of ship recognition
整个流程可分为两个部分:训练和识别。在训练过程中,主要有4个步骤:(1)将采集到的卫星图像进行预处理;(2)加入多尺度训练策略,将采集到的图片缩放为3种尺度进行模型训练,同时结合负样本增强学习的方法,解决复杂海情的影响问题和小目标识别的问题,该步是解决这两个问题的关键;(3)将特征图送入到区域建议网络当中生成船只目标候选区域;(4)利用一个多任务分类器对船只目标候选区域进行目标位置回归和分类。在识别过程中,提取出已训练好的网络模型,用实时图像进行检验,输出待检测卫星图像中船舶所处位置以及船舶的具体类型。
文章来源:《遥感学报》 网址: http://www.ygxbzz.cn/qikandaodu/2021/0409/597.html