复杂卫星图像中的小目标船舶识别(6)

Yao H G，Wang C，Yu J，Bai X J and Li of small-target ships in complex satellite of Remote Sensing（Chinese），24（2）：116-125［DOI：10./jrs.］

1 引 言海上目标识别是计算机视觉的重要内容，对海上目标的自动识别具有重要的现实意义。近年来我国海上航运和渔业活动增多、海上侵权事件多发，为了维护海洋安全，实现对海上船只目标的自动识别已经迫在眉睫。随着卫星技术的发展，卫星遥感图像分辨率大幅提高，获取来源愈加多元，利用遥感卫星进行海域船舶目标识别得到迅速发展。船舶识别是海域目标预警等方面的基础组成部分，识别结果的好坏对后续操作有决定性的影响，目前常用的船舶识别方法有RFID（肖志良，2017）、模板匹配法（魏娜，2016）、背景建模法（王培玉等，2017）和神经网络法（杨名等，2017），其中RFID、模板匹配和背景建模是传统的目标识别方法，其效果不理想，而神经网络的方法预处理繁琐，方法组合冗杂，不确定性高。同时，由于卫星图像中的船只尺寸相对较小、云雾遮挡、陆地背景干扰等问题，因此对卫星图像中的船只实现自动识别仍面临诸多挑战。近年来，深度学习（Hinton和Salakhutdinov，2006；LeCun等，2015）在目标识别（Girshick等，2014；Girshick，2015；Ren 等，2017；Redmon 等，2016；Liu等，2016）、自然语言处理（林奕欧等，2017）、图像分类（田娟秀等，2018；廖明等，2019）、图像检索（周晔和张军平，2017；刘颖等，2018）和人工智能（唐振韬等，2017）等领域取得突破进展。深度学习能够根据训练样本，自主调整特征提取参数，且提取到的特征具有极佳的自适应性，避免了人为设计特征提取器的复杂过程。在这方面，Bousetouane和Morris（2015）通过卷积神经网络来对遥感图像中的舰船目标进行特征提取，然后与模板库里面的舰船模板进行匹配，最后进行船只分类识别，识别率为89%。Zhang等（2015）对不同尺度、不同角度下的目标船舶通过深度学习工具箱进行检测识别，并采用多波段遥感的方法对难识别目标船只进行识别。Bentes等（2018）通过深度卷积神经网络实现了TerraSAR-X高分辨率雷达卫星中的目标识别，所采用的方法能够准确地识别出卫星影像中的货物、油轮、风车、平台和港口等5类目标。但无论是以上3种方法还是其他的算法若直接应用于实际场景中的船只识别，均存在以下4类问题：（1）无法解决实际中云雾遮挡的影响；（2）小目标船只无法识别；（3）无法实现对目标进行细粒度识别；（4）船只目标区域比背景区域小，负样本空间大，训练收敛困难。针对上述问题，提出了一种多尺度深度学习模型训练方法。该方法以Faster R-CNN（Ren等，2017）为基础，通过负样本增强学习的方法训练模型，以此解决复杂海情的影响，结合多尺度的训练策略，将产生的多尺度的船只样本送入网络中进行训练，以解决小目标船只识别难的问题。实验结果表明，所提方法能够完整地检测出船舶位置，且能够准确的识别船舶类别，提高识别精度。2 船舶细粒度识别原理本文在FRCN（Faster R-CNN）（包含RPN和Fast RCNN两个模块）的基础之上进行船舶检测与识别，目的是实现卫星图像中的船舶目标精确定位与识别。卫星图像中的船舶细粒度识别可以分为多尺度训练、特征提取、生成目标建议区域、细粒度识别这4个步骤。复杂海情下船舶识别整体流程如图1所示。图1 复杂海情下的船舶识别流程图Fig.1 The flow chart of ship fine-grained 多尺度训练由于卫星图像中的船舶目标较小，尺寸不一，会影响识别率。另外数量样本有限，训练时不能充分提取目标特征，易造成船只目标误检或漏检。本文采用多尺度样本进行训练，将每张图片设置为多个尺度。具体思想为：将训练样本图缩小成3个尺度 （1024×1024，512×512，256×256），等同在训练集中加入大量的小目标船只的样本进行训练，由于小目标样本数量的增加，确保了网络能够有效提取到小目标船只的特征，避免误检或漏检的情况。实验证明：通过多尺度训练能够使各类用于训练的目标大小分布更加均匀，从而使训练出来的网络模型能够对多尺寸的船只目标具有较强的鲁棒性 船舶特征提取若要实现船舶的精确分类与识别，则需要有效提取各类别船舶的特征，卷积神经网络的结构会直接决定船舶特征提取的优劣性。卷积神经网络CNN（Convolutional Neural Network）（Krizhevsky 等 ，2012）的核心就在于由卷积层和池化层不同组合构成的特征提取网络，CNN将特征提取和目标分类放入一个端到端的网络中，网络依据输出值和标签值之间的误差关系，不断的优化修正网络参数，最后在输出层将输出值逐渐拟合标签值，图2为一个经典的CNN网络结构。卷积层和池化层的组合方式会直接影响船只的有效特征提取，经过大量实验，选用通过Imaget预训练完成的ZF网络（Rafique等，2018）作为特征提取网络，相较于GoogleNet（Szegedy等，2015）、VGG （Vedaldi和Lenc，2015）、ResNet（He等，2016） 等网络，ZF结构复杂度低，在能够有效提取船只特征的同时，也能够降低特征提取的时间复杂度。图2 CNN结构示意图Fig.2 Schematic diagram of CNN2.3 候选区域建议网络候选区域建议网络RPN（Region Proposal Network）（Ren等，2017）可以依据CNN提取到的高层特征，在原图上框出船舶目标所在的候选区域，并且给出每个候选区域是否为船舶的置信度。RPN在最后一个卷积层输出的卷积特征图上滑动小窗口，小窗口与卷积特征图n×n的区域进行全连接，然后将该区域映射到一个低维的特征向量上，再将这个特征向量输入进两个并行卷积层 （边界框回归层和前后景分类层）进行边界框定位和目标初步判断，RPN的结构示意图如图3所示。图3 RPN结构示意图Fig.3 Schematic diagram of RPN为了训练RPN，需要为每个候选区域设定一个二值分类标签（是否为船舶），首先给以下两类候选区域标定正标签样本：与某个标定区域有最高的交集面积与并集面积之比IoU（Intersection over Union）；与任意标定区域的IoU交叉比例超过0.65的候选区域。以下标定为负标签样本：与所有标定区域的IoU交叉比例小于0.35的候选区域。其他的标签样本不参与RPN的训练过程。RPN模型使用多任务损失函数进行训练，由边界框损失函数和分类损失函数构成，如式（1）式中，i为一个候选区域在一个批处理子集中的下标，Nreg和Ncls为归一化参数，实验中设为128和1300，λ为平衡因子，用于权衡两个损失函数，实验中设为10。pi为候选框i是船舶目标的置信度，若候选框是一个正标签，其对应的真实区域标签为0。ti表示预测的候选区域的4个参数化坐标向量，是相对应的真实标定区域的4个坐标向量。式（1）中的边界框的回归损失函数Lreg具体形式为通过上述过程，实现边界框的修正及目标的判定，筛选出可靠度高的船舶候选区域，实现对前后景的判别及目标区域的定?负样本增强学习通过对卫星图像样本的初步实验结果分析，当船舶目标有云雾遮挡时，所训练的网络模型会出现对目标漏检的情况；当有岸基干扰时，会将部分岸基背景识别为船舶，产生误检的情况。从2.3节可知，网络进行训练时，只用负样本（IoU＜0.35）和正样本（IoU＞0.65）进行训练，IoU在此之间的样本被弃用。这样选出的样本具有加快网络收敛速度的优势，但由于IoU在0.35和0.65之间的样本被弃用，导致了云雾及海岸背景的样本数量缩减，网络学习到云雾和海岸背景等负样本的特征不足，所训练的模型无法识别复杂海情中的船舶目标。为解决该问题，本文采用了一种负样本增强学习的方法，在样本数据集中加入了大量只含有云雾和海岸背景的图片，进行负样本扩充，增强网络模型对云雾及海岸背景的特征学习。后续的实验结果表明：采用的负样本增强学习方法，能够有效地提取到云雾及岸基背景等负样本的特征，一定程度上解决了云雾和岸基背景对船舶识别带来的干扰，避免了漏检和误检的情况 细粒度识别RPN网络可以筛选出可靠度高的船舶候选区域，RPN的分类层解决的是二分类问题，即船舶和非船舶的判定。下面就需要对前景中的船舶目标进行分类，实现船舶的细粒度识别。船舶的细粒度分类层结构示意图如图1中的Fast RCNN部分所示，最后的分类层所要解决的是多分类问题。通过多个全连接层的组合，将提取到的特征从高维数据映射到一个4元组中，将该4元组作为Softmax分类器的输入，输出值为候选区域中的船舶是货轮、邮轮、渔船、游艇的概率值，概率值越高，表明候选区域中的船舶为该类别的可能性越大，从而实现对船舶目标的细粒度识别。网络中的RPN和Fast RCNN共享卷积特征，Fast RCNN使用RPN提供的高质量建议区域进行识别，大幅提高了识别的速度。船舶细粒度识别网络的训练和识别流程如图4所示。图4 船舶识别网络训练和测试流程Fig.4 The training and testing process of ship recognition整个流程可分为两个部分：训练和识别。在训练过程中，主要有4个步骤：（1）将采集到的卫星图像进行预处理；（2）加入多尺度训练策略，将采集到的图片缩放为3种尺度进行模型训练，同时结合负样本增强学习的方法，解决复杂海情的影响问题和小目标识别的问题，该步是解决这两个问题的关键；（3）将特征图送入到区域建议网络当中生成船只目标候选区域；（4）利用一个多任务分类器对船只目标候选区域进行目标位置回归和分类。在识别过程中，提取出已训练好的网络模型，用实时图像进行检验，输出待检测卫星图像中船舶所处位置以及船舶的具体类型。本文因采用RPN和Fast RCNN两部分网络结构进行船舶细粒度识别，由于在训练过程中无法直接采用跨网络反向传播算法，故采用如下分阶段交替训练方法。第1阶段，训练RPN。先采用ImageNet预训练的模型（M0）来初始化RPN网络，接着用数据来训练它，训练完成后得到模型M1。第2阶段，训练Fast RCNN。同样采用ImageNet预训练的模型（M0）来初始化Fast RCNN网络，然后使用第1阶段训练好的RPN网络来获得建议区域P1，再用P1来训练Fast RCNN网络，训练完成后得到模型M2。第3阶段，再次训练RPN网络。用M2来初始化RPN网络并训练得到M3网络，这一阶段只是微调了RPN的参数，设定特征提取部分的网络参数。第4阶段，再次训练Fast RCNN网络。使用M3网络来初始化Fast RCNN网络，然后使用第3阶段训练好的RPN网络来获得建议区域P2，利用P2来训练Fast RCNN网络，这一阶段只是微调了Fast RCNN全连接层参数。这样，两个网络共享卷积层，构成一个统一的网络。具体每个阶段的迭代次数如表1所示。表1 船舶识别网络模型训练过程Table 1 The training process of ship recognition network modelimages/BZ_17_237_2617_1191_2682.png1 2 3 4 RPN Fast RCNN RPN Fast RCNN 本文算法使用端到端网络进行船舶细粒度识别，避免了传统识别算法中多阶段训练数据缓存的麻烦，提升了识别速率和精度，实现了船舶细粒度快速、精确的识别。3 实验和分析3.1 实验数据集数据集来源于DataFountain（2017），由大量恶劣天气条件下的卫星图像所构成，卫星图像中主要包括货轮、邮轮、渔船、游艇4类船只。部分样本图像如图5所示。图5 部分样本图像Fig.5 Part of sample images在实验中，数据集由张图片构成，其中货船标记数量为，邮轮为8028，游艇为，渔船为，另外还选取了5000张含雾、陆地背景的图片作为两类样本进行负样本增强学习。由于深度学习中，在进行目标识别时，背景也为一类，因此本实验共设置为7类。为评估本文算法实现细粒度船舶识别的有效性，使用精确度（Precision）和召回率（Recall）来衡量所建模型性能。召回率和精确度的取值范围均在［0，1］，如式（6）和式（7）式中，TP为正确识别样本数，FP为误检样本数，FN为漏检样本数 特征提取网络的对比本文先利用GoogleNet、VGG-16、ResNet50以及ZF网络进行特征提取，对测试集中的80幅卫星图像进行船舶细粒度识别效果对比，识别的精确度和检测速率如表2所示。表2 不同特征提取方法识别时间对比Table 2 Comparison of recognition time of different feature extraction methodsimages/BZ_18_237_1046_1191_1111.pngGoogleNet VGG-16 ResNet50 ZF 86.68 93.08 94.23 92.27 0.106 0.267 0.387 0.128由于特征提取的网络结构不同，结构越复杂，所提取的特征也越精细，识别精确度也越高（表2）。但同时，虽然能够提取到高层特征，识别的时间消耗代价也越大，无法满足实时性的要求。通过数据对比可知，ZF网络虽然识别精度和识别速率都稍逊于其他方法，但从识别精度和实时性两方面综合考虑，文中所采用的ZF特征提取网络更加符合项目需求 负样本增强识别效果对比为验证所采用负样本增强学习方法的有效性，将云雾以及海岸背景作为训练负样本，参与网络模型的训练，同时将未增加负样本训练的模型和增加负样本训练的模型两种方法进行对比，识别效果如图6和图7所示。图6 未进行负样本增强学习的识别效果Fig.6 The recognition results without negative sample enhancement learning图7 负样本增强识别效果对比Fig.7 The recognition results with negative sample enhancement对比图6（a）和图6（b）可知，通过负样本增强学习的方法，所训练的模型没有出现漏检和误检的情况，准确的识别出了岸基干扰下的货船和云雾遮挡下的邮轮及货船等船舶目标，船舶目标的置信度也有所提升。而图7（a）和图7（b），所训练的网络模型将岸上的建筑目标误检为货船，云雾遮挡下的邮轮没有能够识别，造成了误检和漏检的情况，进一步验证所采用的负样本增强学习方法的有效性 相同海况下两种算法的对比另外，为验证本文多尺度和负样本增强学习训练策略的有效性，将本文算法与FRCN进行实验对比，从训练集中选取100张图片（包含341艘船）进行测试，两种算法的Precision、Recall值如表3所示。表3 两种算法的检测效率对比Table 3 Comparison of the detection efficiency of the two algorithmsimages/BZ_19_1288_557_2242_677.pngFRCN本文算法251 313 44 27 44 28 85.08 92.06 73.61 91.78从表3数据可知本文算法训练得到的模型无论是精确度还是召回率都高于FRCN所训练得到的模型。相较于FRCN，精确度提升了6.98%，召回率提升了18.17%。对比图8和图9，本文算法能够实现卫星图像中的货船、邮轮及游艇等船舶目标，尤其是对小目标船只的识别，无论是小目标回归框的精度，还是小目标船类别的置信度相较于FRCN都有明显提高。图8 FRCN识别效果图Fig.8 The recognition results of FRCN图9 本文算法识别效果图Fig.9 The recognition results of this paper3.5 多样海情条件下船舶细粒度识别效果为验证本文算法的有效性和鲁棒性，从数据集中选取了50幅不同海情、船舶类别多样的样本图片进行检验，部分检测效果如图8所示。从图10可知，本文算法对海岸背景的干扰如图 10 （a）、（d）、（e）、（f），光线较暗如图 10（b）、（d）、（e），云雾干扰如图10 （c），船舶尺寸相差大如图10（d），小目标船舶如图10（e），船舶类别多样如图10（f），均有较好的识别效果，可以准确地识别图片中的货船、邮轮及游艇等目标。实验结果表明本文算法广泛适用于复杂海情条件下的船舶细粒度识别，精确度和实时性均满足实际要求，并且具有较强的鲁棒性。图10 多样海情条件下细粒度识别效果图Fig.10 The results of fine-grained recognition under various sea conditions4 结 论首先，本文针对小目标船舶难识别的问题提出了一种多尺度的训练策略，将训练样本压缩到多个尺度，扩大了训练集中小船舶样本的数量。通过对数据样本的扩充，使网络提取到小目标船舶的有效特征，实现对小目标船舶的高精度识别，避免漏检或误检的情况。其次，对于云雾的遮挡、陆地背景等复杂海情对船舶识别到来的影响。采用负样本增强学习的方法，将云雾、陆地背景作为负样本参与到网络模型的训练当中。实验结果表明：所采用的方法不仅可以实现常态海况下的船舶识别，同时也有效解决云雾遮挡造成的船舶漏检及陆地背景干扰造成的船舶误检问题，解决了前人的方法无法解决云雾遮挡及岸基干扰的问题，识别准确率可达92.27%。文中采用深度学习方法进行船舶细粒度识别，避免了传统模式识别方法中人为经验的干扰，所构建的网络能够根据识别效果自适应的修改网络的参数，不需要人为的调整，成功实现了端到端的网络训练及识别模式。该方法仍有不足之处：（1）文中构建的网络分为两部分，第一部分网络提取船舶目标的特征，第二部分网络对提取到的船舶目标进行分类，后续期望能够将两个网络整合为一个网络，减小网络的复杂度，降低网络的开销；（2）与其他方法相比，准确率虽有显著提升，但与期望值相比仍有差距。这两点也是下一步的重点研究内容。志 谢此次实验的数据获取得到了DataFountain官方、常州大学信息科学与工程学院沈新霞的大力支持，在此表示衷心的感谢！参考文献（References）Bentes C,Velotto D and Tings classification in terraSARX images with convolutional neural Journal of Oceanic Engineering,43(1):258-266[DOI:10.1109/]Bousetouane F and Morris CNN features for fine-grained classification of vessels in a maritime environment//Proceedings of the 11th International Symposium on Visual Com‐ Vegas,NV,USA:Springer:379-388[DOI:10.1007/978-3-319--6_35]DataFountain[EB/OL]. R-CNN//Proceedings of 2015 IEEE Internation‐al Conference on Computer ,Chile:IEEE:1440-1448[DOI:10.1109/]Girshick R,Donahue J,Darrell T and Malik feature hier‐archies for accurate object detection and semantic segmentation//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern ,OH,USA:IEEE:580-587[DOI:10.1109/]He K M,Zhang X Y,Ren S Q and Sun residual learning for image recognition//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Vegas,NV,USA:IEEE:770-778[DOI:10.1109/]Hinton G E and Salakhutdinov R the dimensio-nali‐ty of data with neural ,313(5786):504-507[DOI:10.1126/science.]Krizhevsky A,Sutskever I and Hinton G classifica‐tion with deep convolutional neural networks//Proceedings of the 25th International Conference on Neural Information Processing Tahoe,Nevada:Curran Associates Inc.:1097-1105LeCun Y,Bengio Y and Hinton ,521(7553):436-444[DOI:10.1038/nature]Liao M,Zhan Z Q,WoW,Pang C and Liu on rainfallrun off simulation and prediction in lake basin based on dynamic data-driven deep recurrent of Remote Sensing,23(05):911-923(廖明，詹总谦，呙维，庞超，刘异.2019.动态数据驱动模式下的湖泊流域降雨径流模拟.遥感学报，23(05):911-923)[DOI：10./jrs.]Lin Y O,Lei H,Li X Y and Wu learning in NLP:meth‐ods and of University of Electronic Science and Technology of China,46(6):913-919(林奕欧,雷航,李晓瑜,吴佳.2017.自然语言处理中的深度学习:方法及应用.电子科技大学学报,46(6):913-919)[DOI:10.3969/]Liu W,Anguelov D,Erhan D,Szegedy C,Reed S,Fu C Y and Berg A :single shot multibox detector//Proceedings of 14th European Conference on Computer ,The Nether‐lands:Springer:21-37[DOI:10.1007/978-3-319--0_2]Liu Y,Hu D and Fan J L.2018.A survey of crime scene investigation image Electronica Sinica,46(3):761-768(刘颖,胡丹,范九伦.2018.现勘图像检索综述.电子学报,46(3):761-768)[DOI:10.3969/]Rafique M A,Pedrycz W and Jeon license plate de‐tection using region-based convolutional neural Computing,22(19): 6429-6440 [DOI:10.1007/s00500-017-2696-2]Redmon J,Divvala S,Girshick R and Farhadi only look once:unified,real-time object detection//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Vegas,NV,USA:IEEE:779-788[DOI:10.1109/]Ren S Q,He K M,Girshick R and Sun R-CNN:towards real-time object detection with region proposal Transactions on Pattern Analysis and Machine Intelligence,39(6):1137-1149[DOI:10.1109/]Szegedy C,Liu W,Jia Y Q,Sermanet P,Reed S,Anguelov D,Erhan D,Vanhoucke V and Rabinovich deeper with convo‐lutions//Proceedings of 2015 IEEE Conference on Computer Vi‐sion and Pattern ,MA,USA:IEEE:1-9[DOI:10.1109/]Tang Z T,Shao K,Zhao D B and Zhu Y progress of deep reinforcement learning:from AlphaGo to AlphaGo Theory and Applications,34(12):1529-1546(唐振韬,邵坤,赵冬斌,朱圆恒.2017.深度强化学习进展:从AlphaGo到AlphaGo Zero.控制理论与应用,34(12):1529-1546)[DOI:10.7641/]Tian J X,Liu G C,Gu S S,Ju Z J,Liu J G and Gu D learning in medical image analysis and its Auto‐matica Sinica,44(3):401-424(田娟秀,刘国才,谷珊珊,鞠忠建,刘劲光,顾冬冬.2018.医学图像分析深度学习方法研究与挑战.自动化学报,44(3):401-424)[DOI:10./]Vedaldi A and Lenc :convolutional neural net‐works for MATLAB//Proceedings of the 23rd ACM international conference on ,Australia:ACM:689-692[DOI:10.1145/.]Wang P Y,Li F,Zhou S R and Liao Z F.2017.A ship detection and tracking algorithm under complex wharf Engineering and Science,39(5):992-998(王培玉,李峰,周书仁,廖卓凡.2017.复杂码头环境下的船舶检测与跟踪算法.计算机工程与科学,39(5):992-998)[DOI:10.3969/]Wei application of template matching and BP neural net‐work in ship Science and Technology,38(20):133-135(魏娜.2016.模板匹配和BP神经网络在船舶识别中的应用.舰船科学技术,38(20):133-135)[DOI:10.3404/]Xiao Z on ship identification and control terminal system based on active RFID Science and Tech‐nology,39(8A):142-144(肖志良.2017.基于有源RFID技术的船舶识别与控制终端系统研究.舰船科学技术,39(8A):142-144)[DOI:10.3404/]Yang M,Ruan Y D,Chen L K,Zhang P and Chen Q vid‐eo recognition algorithms for inland river ships based on faster of Beijing University of Posts and Telecommunica‐tions,40(S1):130-134(杨名,阮雅端,陈林凯,张鹏,陈启美.2017.甚高速区域卷积神经网络的船舶视频检测方法.北京邮电大学学报,40(S1):130-134)[DOI:10./]Zhang M M,Choi J,Daniilidis K,Wolf M T and Kanan :a dataset for recognizing maritime imagery in the visible and infra‐red spectrums//Proceedings of 2015 IEEE Conference on Comput‐er Vision and Pattern Recognition ,MA,USA:IEEE:10-16[DOI:10.1109/]Zhou Y and Zhang J deep learning for product im‐age of Computer Research and Development,54(8):1824-1832(周晔,张军平.2017.基于多尺度深度学习的商品图像检索.计算机研究与发展,54(8):1824-1832)[DOI:10.7544/]

文章来源：《遥感学报》 网址: http://www.ygxbzz.cn/qikandaodu/2021/0409/597.html