- · 《遥感学报》栏目设置[09/01]
- · 《遥感学报》数据库收录[09/01]
- · 《遥感学报》投稿方式[09/01]
- · 《遥感学报》征稿要求[09/01]
- · 《遥感学报》刊物宗旨[09/01]
改进网络的光学遥感图像云去除方法(2)
作者:网站采编关键词:
摘要:为引入多尺度融合策略,本研究在CGAN网络中采用He等[20]提出的空间金字塔池化方法对光学遥感图像不同尺度的特征信息进行收集并加以融合利用。具体操
为引入多尺度融合策略,本研究在CGAN网络中采用He等[20]提出的空间金字塔池化方法对光学遥感图像不同尺度的特征信息进行收集并加以融合利用。具体操作如下:
1)通过池化将基础网络中卷积操作得到的特征图(8×8大小)进行1×1,2×2和4×4共3种不同尺度的划分,并去除合并的过程,对3种不同分辨率的特征信息加以保留;
2)分别对池化后得到的3种不同尺度的特征图使用反卷积操作上采样到原分辨率大小的图像,然后融合到一起作为网络的输出。
1.3 CGAN模型改进
本研究通过结合CGAN网络和金字塔池化结构的特点构建基于改进CGAN的光学遥感图像去云模型。改进后的模型由生成器和判别器两部分组成,生成器通过输入有云的光学遥感图像产生无云的光学遥感图像。原始的CGAN网络中生成器的输入包括随机向量和条件信息两部分,而在CGAN网络的输入足够复杂的情况下,输入可以替代随机向量的作用,因此本研究不引入随机向量,仅将条件信息即有云的光学遥感图像作为生成器的输入。判别器通过学习输入图像对之间的分布差异对图像对中无云遥感图像的来源进行判别。生成器和判别器两者互相对抗,保持动态平衡训练直到判别器无法判别输入的无云光学遥感图像来源于真实数据还是来源于生成器。整体结构如图1所示。
1.3.1 生成器
原始CGAN网络模型中生成器采用的是Unet结构[21],虽然该结构通过特征叠加的方式能对不同层次的特征进行整合,但特征聚合程度低且提取到的特征单一,对于图像信息的利用不充分。因此,本研究在其基础上引入了空间金字塔池化层以获得不同分辨率的特征图,增加生成器网络提取多尺度特征信息的能力。改进后的生成器是一个全卷积神经网络[22],包括特征提取网络和尺度恢复网络两部分。
1)特征提取网络
特征提取网络由5个连续的卷积层和1个空间金字塔池化层构成。图像输入网络后先经过连续的卷积层进行初步的特征提取,每个卷积层卷积核的大小为3×3,激活函数使用LReLU(Leaky-ReLU)函数且每个卷积层后加入批量归一化操作加速网络的收敛,提高层与层之间的独立性。此外,卷积的步长设置为2以代替池化操作进行下采样,从而避免特征映射过程中信息的丢失。随后将提取好的特征输入到空间金字塔池化层中以获取不同分辨率和精度的特征图像,特征图在增多的同时会带来参数量增大的问题,因此,本研究在多次尝试后最终选取了1×1、2×2和4×4这3种不同的池化尺寸,并采用平均池化保留更多的背景信息。
2)尺度恢复网络
特征提取网络最终提取到1×1大小、2×2大小以及4×4大小共3种尺度的特征图像。因此,尺度恢复网络相应地包含3条恢复路径。1×1的特征图所在的恢复路径由8个上采样单元组成;2×2的特征图所在的恢复路径由7个上采样单元组成;4×4的特征图所在的恢复路径由6个上采样单元组成。这3条恢复路径虽然长短不同,但均采用反卷积的方式进行上采样,并使用ReLU函数作为非线性函数。为了消减棋盘效应,本研究中反卷积层的卷积核大小设置为4×4而非常用的3×3。实现上采样后对3条路径所得到的图像执行add操作,也就是对应元素相加的方式进行融合生成最终的图像。相较于常用的通道连接(concatenate)方式,本研究采用的add操作在增加图像的特征信息量的同时引入了更少的参数,从而节省了计算量。不同大小的特征图在尺寸恢复的过程中还通过跳跃连接的方式融入了特征提取网络路径中对应尺寸的特征图,进一步对特征信息加以利用。此外,深度神经网络很容易产生过拟合现象,因此本研究方法在尺度恢复网络中引入了Dropout机制[23]来解决这一问题。具体做法是在反卷积层和激活函数之间加入Dropout层,参数dropout_ratio的值设置为0.5,经过Dropout层后50%的输出值会被从网络抛弃,即激活值置零,从而减小网络的大小,有效防止过拟合,提升网络的泛化能力。
图1 改进CGAN模型结构Fig.1 Structure of improved CGAN model
1.3.2 判别器
判别器的输入为图像对,图像对是指将无云图像与有云图像通过contact操作进行拼接后得到的结果。其中,无云图像可以是真实图像也可以是生成图像。判别器的输出为输入的无云图像是真实图像的概率值。当判别器认定无云图像为真实图像时输出为1,反之,当判别器认定无云图像为生成图像时输出为0。
网络总共5层,其中前4层是下采样层,最后1层为判别层。图像对输入网络后先通过连续的下采样层进行特征提取,下采样层中的卷积核大小均为4×4,步幅均为2,为防止使用梯度下降法更新参数时出现梯度消失的情况[24],对下采样层的卷积操作进行批量归一化处理,并使用LReLU激活函数进行非线性映射。每经过一个下采样层,图像的长宽就减少为原来的一半。最后在判别层使用Sigmoid函数输出每个像素为真的概率,并使用交叉熵计算得到最终损失。
文章来源:《遥感学报》 网址: http://www.ygxbzz.cn/qikandaodu/2021/0307/548.html