改进网络的光学遥感图像云去除方法(7)

式中V(D,G)表示CGAN网络的目标函数，E表示对应分布的期望值。生成器希望提高D(G(z|y))的值，而判别器希望提高D(x|y)的值并降低D(G(z|y))的值，因此CGAN的训练目标是带有条件的生成器和判别器极小极大值博弈，用V(D,G)表示这一博弈的过程。

1.2 多尺度特征融合和空间金字塔池化

图像提取的特征信息可以分为低层特征和高层特征两大类。其中，低层特征具有较高的分辨率，含有的位置信息和细节信息更多，但是由于经过的卷积层少，语义性低。而高层特征具有更强的语义信息，但分辨率较低，感知细节的能力差。多尺度特征融合可以通过融合高层特征信息和低层的特征信息的方式对不同阶段的特征信息进行充分利用，从而使图像中的地物细节得到较好的恢复以提高生成结果的精度。

为引入多尺度融合策略，本研究在CGAN网络中采用He等[20]提出的空间金字塔池化方法对光学遥感图像不同尺度的特征信息进行收集并加以融合利用。具体操作如下：

1）通过池化将基础网络中卷积操作得到的特征图（8×8大小）进行1×1，2×2和4×4共3种不同尺度的划分，并去除合并的过程，对3种不同分辨率的特征信息加以保留；

2）分别对池化后得到的3种不同尺度的特征图使用反卷积操作上采样到原分辨率大小的图像，然后融合到一起作为网络的输出。

1.3 CGAN模型改进

本研究通过结合CGAN网络和金字塔池化结构的特点构建基于改进CGAN的光学遥感图像去云模型。改进后的模型由生成器和判别器两部分组成，生成器通过输入有云的光学遥感图像产生无云的光学遥感图像。原始的CGAN网络中生成器的输入包括随机向量和条件信息两部分，而在CGAN网络的输入足够复杂的情况下，输入可以替代随机向量的作用，因此本研究不引入随机向量，仅将条件信息即有云的光学遥感图像作为生成器的输入。判别器通过学习输入图像对之间的分布差异对图像对中无云遥感图像的来源进行判别。生成器和判别器两者互相对抗，保持动态平衡训练直到判别器无法判别输入的无云光学遥感图像来源于真实数据还是来源于生成器。整体结构如图1所示。

1.3.1 生成器

原始CGAN网络模型中生成器采用的是Unet结构[21]，虽然该结构通过特征叠加的方式能对不同层次的特征进行整合，但特征聚合程度低且提取到的特征单一，对于图像信息的利用不充分。因此，本研究在其基础上引入了空间金字塔池化层以获得不同分辨率的特征图，增加生成器网络提取多尺度特征信息的能力。改进后的生成器是一个全卷积神经网络[22]，包括特征提取网络和尺度恢复网络两部分。

1）特征提取网络

特征提取网络由5个连续的卷积层和1个空间金字塔池化层构成。图像输入网络后先经过连续的卷积层进行初步的特征提取，每个卷积层卷积核的大小为3×3，激活函数使用LReLU（Leaky-ReLU）函数且每个卷积层后加入批量归一化操作加速网络的收敛，提高层与层之间的独立性。此外，卷积的步长设置为2以代替池化操作进行下采样，从而避免特征映射过程中信息的丢失。随后将提取好的特征输入到空间金字塔池化层中以获取不同分辨率和精度的特征图像，特征图在增多的同时会带来参数量增大的问题，因此，本研究在多次尝试后最终选取了1×1、2×2和4×4这3种不同的池化尺寸，并采用平均池化保留更多的背景信息。

2）尺度恢复网络

特征提取网络最终提取到1×1大小、2×2大小以及4×4大小共3种尺度的特征图像。因此，尺度恢复网络相应地包含3条恢复路径。1×1的特征图所在的恢复路径由8个上采样单元组成；2×2的特征图所在的恢复路径由7个上采样单元组成；4×4的特征图所在的恢复路径由6个上采样单元组成。这3条恢复路径虽然长短不同，但均采用反卷积的方式进行上采样，并使用ReLU函数作为非线性函数。为了消减棋盘效应，本研究中反卷积层的卷积核大小设置为4×4而非常用的3×3。实现上采样后对3条路径所得到的图像执行add操作，也就是对应元素相加的方式进行融合生成最终的图像。相较于常用的通道连接（concatenate）方式，本研究采用的add操作在增加图像的特征信息量的同时引入了更少的参数，从而节省了计算量。不同大小的特征图在尺寸恢复的过程中还通过跳跃连接的方式融入了特征提取网络路径中对应尺寸的特征图，进一步对特征信息加以利用。此外，深度神经网络很容易产生过拟合现象，因此本研究方法在尺度恢复网络中引入了Dropout机制[23]来解决这一问题。具体做法是在反卷积层和激活函数之间加入Dropout层，参数dropout_ratio的值设置为0.5，经过Dropout层后50%的输出值会被从网络抛弃，即激活值置零，从而减小网络的大小，有效防止过拟合，提升网络的泛化能力。

文章来源：《遥感学报》 网址: http://www.ygxbzz.cn/qikandaodu/2021/0307/548.html